LLM-ovi sami otkrivaju halucinacije – ali je li to dovoljno?

Istraživači s arXiva objavili su metodu koja bi trebala omogućiti velikim jezičnim modelima (LLM-ovima) da sami prepoznaju vlastite halucinacije – bez potrebe za vanjskim sustavima provjere. Umjesto da se oslanjaju na zlatne odgovore, retriever-e ili dodatne modele-sudce, novi pristup destilira signale halucinacija direktno u transformer reprezentacije tijekom treniranja.

To znači da modeli poput onih s 7 milijardi parametara teoretski mogu detektirati netočnosti iz vlastitih aktivacija, čak i na podacima na kojima nisu eksplicitno trenirani. Okosnica metode je okvir slabog nadzora koji kombinira tri komplementarna signala: podudaranje podstringova, sličnost ugradnji rečenica i presudu samog LLM-a kao sudca.

Istraživači su konstruirali skup podataka od 15.000 uzoraka iz SQuAD v2, od čega je 10.500 korišteno za treniranje i razvoj. Ključna prednost?

Nema potrebe za skupom ljudskom anotacijom – što je često usko grlo u razvoju detekcijskih sustava. Prema studiji, pet treniranih klasifikatora uspješno je identificiralo halucinacije na temelju unutarnjih reprezentacija.

No, tu počinju pitanja. Iako metoda eliminira potrebu za vanjskim provjerama u trenutku inferencije, ona i dalje ovisi o kvaliteti signala prikupljenih tijekom treniranja.

Ako su ti signali šumni ili pristrani – a slabi nadzor često jest – detekcija može postati samo još jedan sloj iluzije.

Industrijski pogled otkriva zanimljivu dinamiku. Tvrtke koje nude LLM-ove kao uslugu (poput Mistrala ili Coherea) mogle bi imati koristi od ugrađene detekcije halucinacija – to bi im omogućilo jeftinije skaliranje bez dodatnih vanjskih API poziva.

S druge strane, startupovi specijalizirani za vanjsku provjeru činjenica (npr. Galileo) mogli bi osjetiti pritisak.

Ako se metoda pokaže pouzdanom, njihovi proizvodi mogli bi postati redundantni. No, postoji i treća skupina koja najviše gubi: korisnici koji su već uložili u fine-tuning vlastitih modela.

Slabi nadzor zahtijeva pristup izvornom modelu i njegovim unutarnjim reprezentacijama – što nije moguće kod većine komercijalnih API-ja. To znači da će većina korisnika i dalje morati oslanjati na vanjske alate, barem dok se metoda ne implementira kao standardni dio otvorenih modela.

Na GitHubu i tehnološkim forumima reakcije su podijeljene. Dio developera pozdravlja pristup kao korak prema samoregulirajućim modelima, dok drugi upozoravaju na rizike „crne kutije“ – ako model sam sebe ocjenjuje, tko ocjenjuje njega?

Jedan od komentara na Hacker Newsu glasi: „Ovo je kao dati alkoholičaru alkotest i reći mu da sam sebe kontrolira.“ Ironija je očita, ali i upozorenje: detekcija halucinacija unutar modela mogla bi postati još jedan sloj koji generira nove vrste grešaka.

Konačno, važno je razmotriti etičke implikacije ove metode. Ako modeli postanu sposobni detektirati vlastite halucinacije, kakve će to imati posljedice po našu percepciju umjetne inteligencije? Hoće li to dovesti do veće pouzdanicnosti u ove sisteme ili će samo dodati sloj kompleksnosti našim već postojanim brinama. Vrijeme će pokazati.