AI modeli dobivaju provjeru koja ih hvata prije logičkog sudara

Triway logičko odgovaranje (QA) jedan je od najzahtjevnijih zadataka u obradi prirodnog jezika. Model mora dodijeliti jednu od tri oznake – True, False ili Unknown – hipotezi H na temelju skupa premisa S. Iako moderni veliki jezični modeli (LLM) postižu visoku točnost na izoliranim primjerima, istraživači su identificirali dvije sustavne greške koje narušavaju pouzdanost: nedosljednost negacije i epistemske neizvjesnosti.

Prva greška javlja se kada model daje kontradiktorne odgovore na hipotezu i njezinu negaciju. Druga rezultira nepotrebnim oznakama 'Unknown' čak i kada premise jasno podržavaju jednu stranu. Rješenje koje nudi rad pod naslovom Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering naziva se CGD-PD.

To je lagani sloj koji se primjenjuje tijekom testnog vremena i djeluje u tri koraka. Prvo, model istovremeno procjenjuje hipotezu H i njezinu mehaničku negaciju ¬H pomoću jednog 3-way klasifikatora. Zatim, par odgovora projicira na konzistentnu odluku kada je to moguće. U slučaju nerazriješenih situacija poziva se dokazno vođeni mehanizam za disambiguaciju.

Ovaj pristup ne samo da poboljšava točnost, već i osigurava logičku konzistentnost odgovora. To je ključno za primjene u znanstvenom istraživanju i automatiziranom zaključivanju.

Dodatni kontekst pruža izvorni materijal. Rezultati primjene CGD-PD-a na napredne LLM-ove pokazuju značajno poboljšanje performansi. Relativno povećanje točnosti doseže do 16%, što je posebno važno za zadatke gdje je preciznost kritična.

Istraživači ističu da metoda ne zahtijeva dodatno treniranje modela. Umjesto toga, integrira se kao dodatni sloj tijekom inferencije, što je čini praktičnom za široku primjenu. Jedna od najzanimljivijih implikacija CGD-PD-a je mogućnost smanjenja epistemske neizvjesnosti.

Umjesto da izbjegavaju jasne odgovore zbog unutarnje nesigurnosti, modeli se potiču da se oslanjaju na logičke premise i dokaze. Time se povećava transparentnost i pouzdanost zaključivanja. Ovo bi moglo imati dalekosežne posljedice za razvoj pouzdanijih sustava umjetne inteligencije.

Sljedeći koraci uključuju testiranje CGD-PD-a na širem spektru NLP zadataka. To uključuje automatsko zaključivanje i generiranje logičkih dokaza. Ako se metoda pokaže jednako učinkovitom u tim kontekstima, mogla bi postati standardni dio alata za poboljšanje logičke konzistentnosti u umjetnoj inteligenciji.