CiteVQA pogađa bolnu točku GPT-a i Geminija: točan odgovor s krivim dokazom

Vodeći AI modeli sve su bolji u izvlačenju odgovora iz dokumenata, ali nova poruka iz istraživačkog smjera oko evaluacije modela glasi: odgovor nije dovoljan. Prema izvještaju The Decodera, istraživači s Peking Universityja upozoravaju da modeli poput GPT-a i Gemini često navode odlomke koji ne podupiru tvrdnju koju su upravo iznijeli.

To je drugačiji kvar od klasične halucinacije. U klasičnom slučaju model izmisli činjenicu ili pogriješi u zaključku. Ovdje rezultat može izgledati uredno: odgovor je točan, ton je siguran, citat postoji. Problem je u tome što citirani dio dokumenta ne nosi logički teret odgovora. Istraživači taj obrazac nazivaju “attribution hallucination”, odnosno atribucijska halucinacija.

Za običnu pretragu to može biti iritantno. Za sustave koji analiziraju ugovore, medicinske nalaze, regulatorne podneske ili interne revizije, to je mnogo ozbiljnije. Ako korisnik ne provjeri izvorni odlomak, može povjerovati da je odluka dokazivo utemeljena. Ako ga provjeri, otkriva da je model možda pogodio zaključak, ali je pokazao na pogrešnu policu u arhivi.

Zato je važan CiteVQA, benchmark koji se u sažetku izvora opisuje kao prvi sustavni test za taj tip greške. Njegova vrijednost nije u još jednom mjerenju općeg “koliko je model pametan”, nego u preciznijem pitanju: može li model pokazati gdje u dokumentu stvarno stoji dokaz za odgovor? To je sitniji, ali operativno presudan test pouzdanosti.

Ova razlika posebno pogađa modele koji se koriste kao pomoćnici za čitanje dugih dokumenata. Korisnik ne traži samo parafrazu. Traži trag: odlomak, stranicu, rečenicu, mjesto gdje se tvrdnja može provjeriti. Ako se taj trag odvoji od stvarnog dokaza, sustav počinje glumiti revizijski alat bez revizijske discipline.

Važno je i da se problem ne može riješiti samo boljim stilom odgovora. Model koji zvuči opreznije i dalje može krivo atribuirati dokaz. Model koji daje više citata može samo proizvesti više pogrešnih sidara. U reguliranim domenama, pouzdanost mora uključivati provjerljivu vezu između odgovora i izvora, a ne samo dojam uvjerljivosti.

CiteVQA zato treba čitati kao signal za sljedeću fazu evaluacije AI sustava. Nije dovoljno pitati je li odgovor istinit. Treba pitati je li istina pravilno povezana s dokazom. Bez toga, dokumentni AI ostaje koristan pomoćnik, ali opasan svjedok.