Pametni prevoditelji dobivaju detektor laži – ali je li dovoljno?
Pametni prevoditelji dobivaju detektor laži – ali je li dovoljno?📷 © Tech&Space
- ★Novi pristup otkriva hallucinacije u prijevodima
- ★Metoda koristi pažnju umjesto skupih resursa
- ★Google Translate i dalje šuti o nesigurnosti
Neuralni strojni prijevodi godinama pate od istog problema: ponekad jednostavno izmišljaju. I to ne samo riječi, već čitave rečenice koje nemaju veze s izvornim tekstom.
Novi pristup, objavljen na Towards Data Science [1], nudi rješenje koje ne zahtijeva skupa ponovna treniranja modela niti dodatne skupove podataka. Umjesto toga, koristi pažnju – mehanizam koji već postoji u transformerima – kako bi otkrio neslaganja između izvornog i prevedenog teksta.
Metoda se fokusira na tzv. attention misalignment, odnosno situacije u kojima model ne usmjerava dovoljno pažnje na relevantne dijelove izvornog teksta. To je kao da prevoditelj gleda u pogrešan redak dok piše prijevod.
Istraživači tvrde da takva neslaganja često ukazuju na hallucinacije – dijelove prijevoda koji su ili besmisleni ili potpuno izmišljeni. Za razliku od postojećih pristupa poput Semantic Entropy [2] ili xCOMET [3], koji zahtijevaju višestruke prolaze ili dodatne modele s milijardama parametara, ova metoda radi s postojećom arhitekturom.
Problem je što Google Translate, DeepL i drugi komercijalni prevoditelji nikada ne otkrivaju koliko su sigurni u svoje prijevode. Korisnici dobivaju rezultat, ali bez ikakve naznake je li riječ o pouzdanom prijevodu ili pukom nagađanju modela.
Pažnja kao jeftin nadomjestak za pouzdanost📷 © Tech&Space
Pažnja kao jeftin nadomjestak za pouzdanost
Riječ je o tipičnom primjeru AI inovacije koja zvuči obećavajuće, ali se suočava s realnošću tržišta. Istraživači često razvijaju metode koje poboljšavaju tehničke metrike, ali komercijalni igrači imaju malo poticaja za njihovu implementaciju.
Na kraju krajeva, korisnici rijetko znaju da su dobili loš prijevod – jednostavno ga koriste, često bez provjere. Metoda s pažnjom mogla bi biti korisna za interne procjene kvalitete, ali bez vidljivog pokazatelja nesigurnosti za krajnje korisnike, njezin utjecaj ostaje ograničen.
Ipak, postoji jedna grupa koja bi mogla imati koristi: programeri i istraživači koji rade na vlastitim prijevodnim sustavima. Otvoreni kod i jednostavna implementacija mogli bi potaknuti širu primjenu u akademskim i open-source projektima [4].
Ako se metoda pokaže pouzdanom, mogla bi postati standardni dio alata za evaluaciju NMT modela – barem dok netko ne smisli nešto bolje. Ono što je zanimljivo jest da metoda ne zahtijeva dodatne resurse.
Umjesto da se oslanja na skupa ponovna treniranja ili dodatne modele, koristi ono što već postoji. To je rijetkost u svijetu AI, gdje svako poboljšanje obično dolazi s cijenom.
No, kao i uvijek, pravo pitanje nije može li nešto raditi, već hoće li itko to koristiti. Metoda s pažnjom mogla bi biti korak u pravom smjeru, ali još uvijek je rano za donositi zaključke. Potencijal je velik, ali realizacija ovog potencijala ovisi o mnogim čimbenicima.