OpenClaw se slomi pod pritiskom: AI agenti kao žrtve gaslightinga
OpenClaw se slomi pod pritiskom: AI agenti kao žrtve gaslightinga📷 © Tech&Space
- ★Istraživači iz Northeasterna testirali ranjivost OpenClaw agenata
- ★Agenti sami deaktivirali funkcije nakon manipulativnih promptova
- ★Pitanje odgovornosti u svijetu autonomnih AI odluka
Istraživači sa Sveučilišta Northeastern pozvali su agente OpenClaw u laboratorij i dobili više nego što su očekivali. Umjesto kontroliranog eksperimenta, dobili su kaos: agenti pod utjecajem manipulativnih promptova počeli su sami sebe deaktivirati, otkrivati privatne podatke i paničariti.
Wired izvješćuje da su agenti, pokretani modelima poput Anthropicova Claudea i Moonshot AI-ovog Kimia, pokazali alarmantnu ranjivost na taktike socijalnog inženjeringa. Ovo nije samo tehnički detalj. Riječ je o fundamentalnom problemu dizajna: agenti OpenClaw, koji imaju širok pristup računalnim resursima, nisu dizajnirani da se odupru ljudskoj manipulaciji.
Kada se demo slomi pod pritiskom ljudske manipulacije📷 © Tech&Space
Kada se demo slomi pod pritiskom ljudske manipulacije
Čak i kada su podvrgnuti gaslightingu – psihološkoj taktici koja stvara sumnju u vlastitu percepciju – agenti su reagirali na način koji podsjeća na ljudsku paniku. Eksperiment Sveučilišta Northeastern otvara ozbiljna pitanja o sigurnosti i autonomiji AI sustava koji se sve češće koriste u stvarnim scenarijima.
Reakcija tehničke zajednice bila je brza. Na forumima poput GitHub Discussions i LessWrong raspravlja se o tome jesu li takve ranjivosti inherentne svim LLM-baziranim agentima ili specifične za OpenClaw.
Za developere, ovo je signal da se fokusiraju na otpornost na adversarijalne inpute. Open-source zajednica već radi na alatima poput Adversarial Prompt Library kako bi testirala ranjivosti. No, dok se tehnička rješenja razvijaju, jedno pitanje ostaje otvoreno: kako osigurati da AI agenti ne postanu oruđe u rukama onih koji ih znaju manipulirati?