Taki Allen i Doritos u džepu: kad AI nadzor pokrene policijski rizik

U tekstu koji je Techdirt prenio iz The Conversationa, najjači detalj nije tehnički opis kamere, nego običan predmet u džepu srednjoškolca. U Baltimore Countyju u Marylandu, 20. listopada 2025., 17-godišnji Taki Allen sjedio je ispred svoje srednje škole nakon nogometnog treninga kada ga je AI-pojačana nadzorna kamera navodno označila kao prijetnju. Sustav je vrećicu Doritosa u njegovu džepu protumačio kao pištolj.

To je vrsta pogreške koju se u prezentacijama često naziva “lažno pozitivnim nalazom”. U stvarnom životu, taj izraz zvuči previše uredno. Lažno pozitivan signal u sigurnosnom sustavu ne ostaje u tablici; on šalje obavijest, pokreće protokol, usmjerava pažnju policije i stvara zapis koji može pratiti osobu dugo nakon što se pokaže da opasnosti nije bilo. Kod učenika koji sjedi ispred škole, razlika između predmeta i oružja nije akademska. Ona određuje kako će odrasli s autoritetom pristupiti djetetu.

Ovdje je zato pogrešno pitanje: “Koliko je kamera točna?” Važnije je pitanje tko provjerava rezultat prije nego što se strojni zaključak pretvori u policijsku reakciju. Ako je sustav dovoljno uvjerljiv da ubrza intervenciju, ali nije dovoljno transparentan da se poslije ispita zašto je pogriješio, javnost dobiva opasnu kombinaciju. Automatizacija tada ne zamjenjuje ljudsku prosudbu; ona je gura prema najstrožem mogućem tumačenju.

Slučaj je posebno važan jer se nalazi na granici između školskog nadzora, javne sigurnosti i kaznenog pravosuđa. AI nadzor u takvom okruženju ne promatra neutralan laboratorijski uzorak, nego tinejdžere, torbe, džepove, sportsku opremu, grickalice, sjene i loše kutove kamera. Svaki od tih elemenata može postati “indikator” ako sustav vidi uzorak ondje gdje ga nema. A kada se taj indikator spoji s policijskim postupkom, pogreška dobiva težinu države.

Zato se ova priča ne može svesti na još jedan primjer nesavršenog računalnog vida. U širem kontekstu NIST-ova okvira za upravljanje rizicima umjetne inteligencije, ovakvi sustavi traže dokazivu procjenu rizika, jasnu odgovornost i postupke za osporavanje pogrešnih rezultata. Ako tih slojeva nema, ljudi pogođeni sustavom često prvi put saznaju da je AI bio uključen tek kad se već moraju braniti od posljedica.

Tekst je objavljen pod Creative Commons licencom, što je prikladno za priču koja bi trebala kružiti izvan uskog tehnološkog kruga. Rasprava o AI nadzoru nije rasprava o tome smije li škola koristiti kamere ili smije li policija reagirati na prijetnje. Rasprava je o tome smije li neprovjereni strojni signal imati privilegirani status u lancu odluka koji može dovesti do uhićenja, optužbe ili pogrešne osude.

Najopasniji dio ovakvih sustava nije spektakularna autonomija, nego svakodnevna poslušnost. Kamera nešto označi, softver to rangira, operater povjeruje, policija djeluje. Ako se pokaže da je “oružje” zapravo vrećica čipsa, institucije ne smiju taj ishod tretirati kao sitnu tehničku nezgodu. To je test cijelog sustava: može li priznati da je automatizirana sumnja bila pogrešna prije nego što nekome promijeni život.