Benchmark sjene: Podaci koji obmanjuju AI modele

Novo istraživanje Benchmark Shadows: Data Alignment, Parameter Footprints, and Generalization in Large Language Models otkriva neugodnu istinu: AI modeli često postižu impresivne rezultate na benchmarkovima bez stvarnog napretka u općoj sposobnosti. Autori — umjesto da slave postotke — pitaju zašto se to događa, i pronalaze krivca u distribuciji podataka za treniranje.

Problem nije u modelima, već u tome što im se hrani. Kontroliranim eksperimentima pokazano je da podaci prilagođeni benchmarkovima poboljšavaju uske metrike, ali koče razvoj širih reprezentacijskih sposobnosti.

To objašnjava zašto neki modeli sjaje na liderboardovima, a u stvarnim aplikacijama ostaju kruti. Zanimljivije je što širenje raspona podataka (umjesto uske optimizacije) dovodi do distribuiranijih promjena u parametrima — što direktno korelira s boljom generalizacijom.

Ovdje se otvara ključno pitanje za industriju: koja će tvrtka prvi prestati igrati igru benchmarkova? Trenutno, većina velikih igrača (od Meta do Mistrala) optimizira modele upravo za liderborde — jer je to najbrži način za privlačenje investicija i medijske pažnje.

Ali ova studija pokazuje da takav pristup stvara lažne signale napretka. Model koji briljira na MMLU-u možda neće moći ni osnovno razumijevanje konteksta u stvarnom svijetu.

Zanimljivo je kako developer community već reagira: dio istraživača na GitHubu eksperimentira s „anti-benchmark“ datasetovima, dok drugi upozoravaju na opasnost preuranjene komercijalizacije. Jedan od komentara ističe: „Ako vas zanima generalizacija, prestanite trenirati na testovima.“ To možda zvuči očito, ali je suprotno cijelom ekosustavu koji nagrađuje brze, lako mjerljive rezultate.

U konačnici, ova studija pokazuje da je vrijeme za promjene u načinu na koji se AI modeli razvijaju i vrednuju. Potrebno je više pažnje posvetiti stvarnom napretku i manje pažnje uskim metrikama. Samo tako možemo očekivati da će AI modeli postati zaista korisni u stvarnom svijetu. To je izazov koji će morati biti prihvaćen od strane istraživača, industrijalaca i svih koji su uključeni u razvoj AI tehnologija.