J. Paul Reed upozorava: AI treba čovjeka baš kad ga je odvikao od kontrole
AI najviše traži čovjeka upravo kad automatizacija prestane pomagati.📷 AI-generated image / TECH&SPACE
- ★Reed povezuje 40 godina star koncept ironije automatizacije s današnjim AI incidentima.
- ★Napredni sustavi mogu čovjeka učiniti važnijim u oporavku, ali slabije uvježbanim za intervenciju.
- ★Glavna preporuka nije odbacivanje AI-ja, nego dizajn otpornosti, vježbanje oporavka i kontrolirano oslanjanje na automatizaciju.
J. Paul Reed u InfoQ prezentaciji vraća jednu staru, neugodnu ideju u središte rasprave o AI sustavima: automatizacija često ne smanjuje važnost čovjeka, nego je premješta u najgore moguće trenutke. Dok sve radi normalno, operator izgleda suvišno. Kad sustav izađe iz predviđenog režima, upravo taj operator mora razumjeti stanje, prepoznati pogrešan signal, prekinuti automatizam i vratiti uslugu u život.
To je jezgra “ironija automatizacije”, koncepta starog oko 40 godina koji Reed sada povezuje s AI-jem. U klasičnim automatiziranim sustavima problem je već bio poznat: što je alat bolji u rutinskom radu, to čovjek ima manje prilika održavati praktičnu vještinu. U AI okruženju taj se efekt pojačava jer se sustavi često ponašaju uvjerljivo, fluidno i teško objašnjivo. Formalni okvir za upravljanje takvim rizikom postoji u dokumentima poput NIST AI Risk Management Frameworka, ali Reedova poanta je operativnija: otpornost ne nastaje u policy dokumentu, nego u načinu na koji timovi vježbaju kvarove.
J. Paul Reed upozorava da napredni sustavi ne uklanjaju čovjeka iz petlje, nego ga često čine presudnijim baš onda kad mu automatizacija otupljuje vještine za intervenciju.
Ključni trenutak nije preporuka modela, nego odluka kada je zaobići.📷 AI-generated image / TECH&SPACE
Najopasnija pogreška je pretpostavka da AI “skida teret” s ljudi. U stvarnosti, AI može skinuti dio rutine, ali istodobno povećati cijenu rijetkih intervencija. Reed opisuje incidente koje naziva “AI-fueled”: nisu nužno izazvani zlom namjerom ili spektakularnim kvarom modela, nego prevelikim povjerenjem, lošom vidljivošću i sporim prepoznavanjem da automatizacija više ne pomaže. Prema sažetku prezentacije, preveliko oslanjanje na AI može udvostručiti vrijeme oporavka. To je ozbiljna metrika jer se u incidentima minute brzo pretvaraju u poslovni, sigurnosni i reputacijski dug.
Za inženjerske timove ovdje nema romantičnog zaključka. Ako AI sudjeluje u nadzoru, dijagnostici, deploymentu, podršci ili odgovoru na incidente, mora postojati jasan način da ga se zaobiđe. Runbookovi, probe, ručni fallback, kontrolirani eksperimenti i postmortemi nisu staromodni rituali nego protuteža automatiziranom zaboravu. Slična logika već je ugrađena u praksu pouzdanosti sustava kroz Google SRE pristup incidentima i postmortem kulturu, gdje se ne traži krivac nego mehanizam ponavljanja i oporavka.
Reedova poruka zato nije anti-AI. Ona je anti-magijska. AI alat koji ubrzava rutinu, ali skriva rubne slučajeve, stvara organizaciju koja je brza dok je sve lako i spora kad postane važno. Ako se ljudi drže u petlji samo formalno, bez vježbe, pristupa kontekstu i ovlasti da zaustave sustav, “human-in-the-loop” postaje dekoracija. Prava provjera zrelosti nije demo koji radi, nego noćni incident u kojem tim zna kada ne vjerovati automatizaciji.
