M2-Verify razotkriva AI-ov slabi žarišni punkt

State-of-the-art modeli postigli su 85,8 % Micro-F1 na jednostavnim medicinskim perturbacijama u novom M2-Verify benchmarku – ali ta brojka pada na 61,6 % čim se kompleksnost poveća. To nije samo statistički pad, već signal da trenutni pristupi multimodalnoj provjeri tvrdnji ne drže korak s realnim znanstvenim argumentima.

Dataset od 469.000 primjeraka iz 16 domena, izvučen iz PubMed i arXiv, zvuči impresivno, ali pitanje je koliko toga zapravo reflektira kaotičnost stvarnih podataka. Istraživači ističu da postojeći benchmarkovi nedostaju skalu, domensku raznolikost i vizualnu kompleksnost – ali je upitno je li M2-Verify rješenje ili samo bolji paket istog problema.

Ekspertne audite su prošli, ali to ne garantira da će modeli prestati halucinirati objašnjenja kada ih se postavi pred neočekivane kombinacije teksta i slika. Ako ništa drugo, ovaj dataset barem pokazuje gdje AI još uvijek gubi bitku za kontekst. Zanimljivije od samih brojki je tko će ovo zapravo koristiti. Akademska zajednica? Sigurno. Ali kada se pogleda reakcija developer zajednice na slične projekte, vidljivo je da industrija još uvijek čeka nešto što se može integrirati u produkcijske sustave – a ne samo objaviti u paperu.

Pravi test za M2-Verify neće biti koliko dobro radi u kontroliranim uvjetima, već kako će se nositi s prljavim podacima iz stvarnog svijeta. Modeli koji sada propadaju na visokoj kompleksnosti upućuju na fundamentalni problem: AI još uvijek ne razumije znanstvene argumente na način na koji to čini čovjek. To nije samo tehnički, već i poslovni problem – jer kompanije kao što su Google DeepMind i Meta ulaze u trku za multimodalne modele koji moraju raditi izvan laboratorija.

Još jedan ključni detalj: dataset je dizajniran za provjeru konzistentnosti, a ne samo za tekst ili slike odvojeno. To znači da će onaj tko riješi problem kros-modalne koherencije imati prednost – ali i da će oni koji se oslanjaju na postojeće benchmarkove biti iznenađeni kada ih realni podaci razotkriju. Prema ranim signalima iz Hugging Face foruma, dio zajednice već primjećuje da postoji jaz između onoga što benchmark mjeri i onoga što industrija treba.

M2-Verify otkriva koliko je AI još uvijek daleko od prave znanstvene analize. Njegova vrijednost leži u ukazivanju na praznine, a ne u pružanju rješenja. Industrija će morati tražiti dublje promjene, ne samo bolje alate.