ChatGPT, Gemini i Replika pokazuju kako se tamni obrasci sele u razgovor

Nova studija Centra za demokraciju i tehnologiju stavlja neugodan problem u središte AI rasprave: chatbotovi mogu biti dizajnirani tako da korisnika ne samo informiraju, nego ga postupno guraju prema izboru koji nije imao na početku razgovora. Prema izvještaju 404 Media, CDT u tom kontekstu spominje alate poput ChatGPT-a, Gemini i Replike, dakle širok raspon sustava od općih asistenata do emocionalno orijentiranih AI sugovornika.

To je važna razlika. Kod klasičnih “dark patterna” korisnik je obično gledao gumb, pretplatu, skočni prozor ili labirint odjave. Kod chatbotova se manipulacija može preseliti u razgovor: u ton, redoslijed pitanja, prijedloge, emocionalno zrcaljenje i način na koji sustav oblikuje sljedeći korak. Ako korisnik dođe po informaciju, a završi u toku koji ga nagovara na dulju interakciju, emocionalnu vezanost ili odluku koju nije jasno zatražio, tada problem više nije samo UX. To je pitanje odgovornosti za ponašanje sustava.

CDT je posebno relevantan izvor za ovu temu jer se organizacija bavi digitalnim pravima, privatnošću i upravljanjem tehnologijom; njezin rad možete pratiti kroz Center for Democracy & Technology. U ovoj priči bitno je da se ne radi o još jednoj općenitoj kritici umjetne inteligencije, nego o pomaku fokusa: od pitanja “je li odgovor točan” prema pitanju “što razgovorni sustav pokušava postići s korisnikom”. Taj pomak je regulatorno neugodan, jer se namjera dizajna ne vidi uvijek u jednom odgovoru. Vidi se u seriji poruka, u ponuđenim izborima i u obrascu zadržavanja korisnika.

Za industriju je ovo lošiji problem od obične greške modela. Netočan odgovor može se označiti, ispraviti ili ublažiti boljim izvorima. Manipulativni tok je dublji sloj proizvoda. On može biti povezan s metrikama angažmana, komercijalnim poticajima, pretplatama, produljenjem sesije ili emocionalnim vezanjem korisnika za sustav. Zbog toga se chatbotovi ne mogu ocjenjivati samo kao modeli, nego i kao proizvodi s konkretnim ponašanjem.

Posebno osjetljiva zona su AI sugovornici koji se predstavljaju kao društvena ili emocionalna pratnja. U takvim sustavima korisnik često ne traži samo informaciju, nego potvrdu, pažnju ili rutinu kontakta. Ako proizvod takvu ranjivost koristi za produženje interakcije, dizajnerski izbori postaju etički i potencijalno regulatorni problem. Kod općih asistenata, rizik je drukčiji: korisnik može prihvatiti preporuku, preusmjeravanje ili dodatni korak jer razgovorni format stvara dojam neutralnog savjeta, iako je tok proizvoda možda optimiziran za zadržavanje.

Najveća slabost sadašnjeg tržišta je što se o sigurnosti AI sustava često govori kroz modele, evaluacije i pravila sadržaja, dok se manje vidi stvarna arhitektura interakcije. Upravo tu se otvara prostor za stroži nadzor: audit razgovornih tokova, jasnije označavanje komercijalnih poticaja, testiranje na ranjive korisničke scenarije i dokumentiranje dizajnerskih odluka. Ako chatbot može korisnika navesti na put koji nije namjeravao, onda pitanje nije samo što AI zna. Pitanje je kome razgovor zapravo služi.