Zašto mreže vole jednostavnost: kompresija kao ključ

Minimalna duljina opisa (MDL) nije novi koncept u teoriji informacija, ali je njena primjena na duboko učenje ovdje prilično neobična. Autori ne tvrde da su otkrili zašto neuronske mreže preferiraju jednostavne funkcije — to je već dokumentirano pod nazivom simplicity bias — već kako taj proces funkcionira: kao optimalna dvodjelna kompresija. Prvi dio kompresije je opis modela (njegova složenost), a drugi dio su greške koje model čini (prediktivna moć). Što je zanimljivije, ova perspektiva pretvara dotad „iracionalnu“ sklonost mreža ka jednostavnosti u racionalan kompromis između troškova.

Rani eksperimenti (npr. ovaj rad iz 2022.) pokazivali su da mreže često ‚zaboravljaju‘ kompleksne obrasce u korist jednostavnih prečica, ali bez jasnog teorijskog okvira. Novi rad to formalizira: ako je opis modela preskup (previše parametara), a opis grešaka prevelik (loša predikcija), mreža će uvijek tražiti ravnotežu. To nije bug, već feature — doslovno.

Dio zajednice već reagira sceptično. Na GitHub threadovima oko implementacija MDL-a u PyTorchu, neki ističu da je ‚kompresijski‘ pristup teško skalirati na stvarne podatke, a ne samo na sintetske benchmarke. Drugi, poput istraživača iz DeepMinda, napominju da bi ovo moglo objasniti zašto pretrenirane mreže često ‚zaboravljaju‘ starije, rjeđe obrasce: trošak njihova čuvanja postaje previsok.

Pravi test ove teorije nije u akademskim papirima, već u tome tko je može iskoristiti. Startupi koji grade efikasne modele (npr. Mistral ili Inflection) mogu dobiti prednost: ako je simplicity bias kontroliran, a ne slučajan, moguće je dizajnirati arhitekture koje svjesno žrtvuju složenost za bržinu ili troškove. S druge strane, igrači poput Nvidije koji prodaju hardver za ‚širinu‘ modela (više parametara = bolje) možda će morati revidirati marketing.

Zanimljivo je i predviđanje da više podataka ne eliminira simplicity bias, već ga preusmjerava. Umjesto da mreža ignorira kompleksne obrasce, počinje ih učiti — ali samo ako je ‚cijena‘ njihova opisivanja manja od troška grešaka. To možda zvuči kao tehnički detalj, ali ima direktne implikacije za transfer learning: ako je model pretreniran na jednostavnim podacima, kasnija finetuniranja na kompleksnijim zadacima mogu biti skuplja nego što se mislilo.

Najveće pitanje ostaje: može li se ovo koristiti za aktivno upravljanje biasom, a ne samo za njegovo objašnjenje? Rani signali sugeriraju da bi tehnike poput knowledge distillation mogle dobiti novi teorijski okvir — ali dok ne vidimo implementacije van laboratorija, ostaje pitanje koliko je ovo korisno, a koliko samo elegantno.