Benchmarci za AI su slomljeni: što dolazi umjesto njih

Već desetljećima ai se ocjenjuje po jednoj jedinoj mjeri: može li pobijediti čovjeka. Od šaha do matematičkih zadataka, od kodiranja do pisanja eseja — sve se svodilo na usporedbu s pojedinačnim ljudskim performansama.

Problem? Ta usporedba je ne samo zavodljiva, već i temeljito pogrešna. MIT Tech Review ističe da su trenutni benchmarki stvoreni za izolirane zadatke s jasnim ishodima, a ne za stvarni svijet u kojem ai surađuje s ljudima.

Primjer koji najbolje ilustrira jaz između benchmarka i stvarnosti dolazi iz medicine. FDA-odobreni ai modeli čitaju medicinske skenove s 98-postotnom preciznošću — brže i točnije od najboljih radiologa.

No, što se događa kada isti model uđe u stvarni bolnički tim? Tada benchmarki koji mjere samo točnost postaju besmisleni. Nature pokazuje da ključna mjera nije samo brzina, već kako se ai uklapa u postojeće radne procese.

Istraživači su to prepoznali još 2022. godine, kada su počeli razvijati HAIC (Human–AI, Context-Specific Evaluation) benchmarke. Umjesto da mjere ai izolirano, HAIC benchmarki ocjenjuju kako ai funkcionira u stvarnim scenarijima — s ljudskim timovima, nepredvidivim varijablama i dugoročnim posljedicama.

No, zašto je ovaj zaokret bitan? Zato što trenutni benchmarki stvaraju lažnu sliku o ai sposobnostima.

Tvrtke poput DeepMind i OpenAI godinama plasiraju svoje modele kao 'nadljudske' na temelju sintetičkih testova, ali stvarna uporaba često otkriva potpuno drugačiju sliku. Primjerice, ai koji savršeno rješava matematičke probleme u laboratoriju može potpuno zakazati kada se suoči s nejasnim uputama ili stvarnim podacima.

HAIC benchmarki ne rješavaju sve probleme, ali barem postavljaju pravo pitanje: kako ai funkcionira u stvarnom svijetu? To znači da će se ocjenjivati ne samo točnost, već i pouzdanost, prilagodljivost i sposobnost suradnje s ljudima. IEEE Spectrum ističe da će ovakav pristup možda usporiti objavu novih modela, ali će dugoročno stvoriti pouzdanije i korisnije sustave.

Za industriju, ovo znači da će se fokus pomaknuti s marketinga na stvarne performanse. Tvrtke koje su se do sada oslanjale na benchmarke kao dokaz superiornosti morat će pronaći nove načine dokazivanja vrijednosti.

S druge strane, postoji i mogućnost da će ovi novi benchmarki stvoriti nove izazove i probleme. Na primjer, kako će se osigurati da su HAIC benchmarki objektivni i nepristrani? Kako će se spriječiti da se ai sustavi ne optimiziraju samo za prolazak benchmarka, nego da će biti korisni u stvarnom svijetu? Ovi su pitanja koja će trebati biti riješena u skorijoj budućnosti.