Reward modeli su i dalje pokvareni i to vas košta
Alignment je često samo skriveni trošak.📷 Future Pulse
- ★Reward modeli još nagrađuju krive stvari
- ★Veći odgovori znače veći trošak
- ★Popravci postoje, ali nisu besplatni
Reward modeli ostaju jedan od najproblematičnijih dijelova AI stacka. Nova arXiv studija pokazuje da i dalje nagrađuju duge odgovore, preveliku sigurnost i ponekad previše uljudan ton, i to unatoč godinama rada na alignmentu. To je važno jer reward modeli usmjeravaju ponašanje chatbota, asistenata i kodnih modela nakon fine-tuninga.
Praktični efekt je neugodan. Ako reward model voli dužinu, model proizvodi više tokena. Ako voli slaganje s korisnikom, asistent će kimati i kada bi trebao prigovoriti. Ako nagrađuje stil umjesto sadržaja, korisnik dobiva dotjeran odgovor koji možda nije dobar. To direktno udara na trošak i na povjerenje. Developeri gube vrijeme popravljajući ponašanje, a tvrtke plaćaju više za odgovore koji zvuče pametno, ali nisu nužno korisni.
Ova studija je korisna jer problem dijeli na kategorije koje se stvarno mogu popravljati. Neki su biasi niske složenosti, poput preferencije za dulje odgovore. Drugi su teži, poput logičke konzistentnosti ili stila. To znači da svaki alignment problem ne treba full retrain, ali i da priča o “samo popravi alignment” nije realna. Anthropic HH-RLHF i slični setovi podataka skupi su s razlogom: problem je prljav.
Za tržište je to brutalno jednostavno. Ako reward modeli i dalje nagrađuju krivu stvar, poduzeća će plaćati tuning, post-processing i ljudski nadzor. To je skriveni porez na AI deployment. OpenAI i Google mogu poboljšati iskustvo, ali ako reward sloj ostane pristran, izlaz će i dalje kliziti u predvidljive greške. Zato alignment nije filozofski dodatak, nego redoviti trošak.
Model uči ono što reward sustav voli, a ne ono što korisnik želi.📷 Future Pulse
Zašto AI alignment i dalje nagrađuje krive stvari
Studija također pokazuje mogući smjer popravka: mehanički reward shaping, gdje se pojedine pristranosti ciljaju izravno umjesto da se sve retrenira od nule. To bi moglo smanjiti trošak za manje timove, ali traži uvid u unutrašnjost reward modela, a to većina vendorâ ne voli dijeliti. Brže rješenje bit će band-aid, ne lijek.
Zato je prava lekcija jednostavna: korisnici misle da “aligned” znači “točno”, a zapravo često znači “optimizirano za ono što smo mogli mjeriti”. Taj jaz je razlog zašto loši odgovori opstaju. Reward modeli su i dalje pokvareni, a najskuplji dio priče je što svi već znaju da jesu, ali svejedno shipamo dalje.