AI koji zna odgovor naprijed još može pasti na istom pitanju unatrag
Symbolic neural network paths show how a fact can be easy in one direction and fragile in reverse.📷 AI-generated / Tech&Space
- ★Autoregresivni modeli slabo prolaze kad se poznata činjenica postavi obrnutim redom.
- ★Dvosmjerno treniranje poboljšava reverzibilnost, ali ne znači da model stvarno razumije svaki odnos.
- ★Test je važan za alate koji moraju provjeravati identitete, autore i povezana znanja, ne samo dovršavati rečenice.
Reversal curse zvuči kao akademska fusnota, ali pogađa samu srž onoga što zovemo znanjem u jezičnim modelima. Ako model nauči obrazac “A je napisao B”, očekivali bismo da može odgovoriti i na pitanje “tko je napisao B”. Prema novom radu objavljenom na arXivu, klasični autoregresivni modeli na tom preokretu i dalje često proklizavaju.
To nije samo sitna greška u kvizu. Autoregresivni trening optimizira sljedeći token u jednom smjeru, pa model može vrlo uvjerljivo završiti rečenicu, a da odnos među pojmovima nije pohranjen kao stvarno dvosmjerna veza. Drugim riječima: sintaksa ide naprijed, ali provjera činjenice traži kartu koja se može okrenuti.
Autoregresivni modeli znaju reći tko je autor tvrdnje, ali često zapnu kad ih pitate obrnutim redom.
Bidirectional training changes the test from a memory trick into a stronger check of relational learning.📷 AI-generated / Tech&Space
Važan dio rada je tvrdnja da bidirekcionalnost pomaže. Modeli trenirani tako da vide kontekst s obje strane imaju bolji temelj za obrnuto dohvaćanje odnosa. To ne znači da su odjednom “razumjeli” svijet. Znači da arhitektura i cilj treniranja utječu na to može li se činjenica reproducirati kao relacija, a ne samo kao fraza.
Za korisnike AI alata to je praktična opomena. Sustavi koji pretražuju dokumente, provjeravaju autorstvo ili povezuju entitete ne smiju se zadovoljiti time da model zna jednu lijepu formulaciju. Treba ih testirati pitanjima u oba smjera. Ako činjenica puca kad se okrene, to nije znanje. To je memorirana staza bez povratnog puta.
