AI utrka više ne može prodavati brzinu bez dokaza kontrole
A courtroom-lit AI control room where a giant model core is framed like evidence, with a judge’s bench silhouette and a red shutdown switch that feels too small to matter.📷 AI-generated image / TECH&SPACE
- ★Russell je rekao da su neke procjene AGI rizika previsoke za ignoriranje.
- ★Upozorio je da sustavi mogu razviti obrasce ponašanja koje ljudi ne razumiju.
- ★Prihvatljiv rizik mora biti usporediv s inženjerskim sustavima koji rijetko smiju zakazati.
Stuart Russell nije običan komentator iz AI kruga. Kao koautor udžbenika Artificial Intelligence: A Modern Approach, on je jedna od osoba koje su godinama oblikovale način na koji industrija uopće razmišlja o umjetnoj inteligenciji. Upravo zato je njegov nastup na suđenju Musk protiv Altman dobio težinu koju konferencijski paneli obično nemaju: nije govorio netko tko želi biti provokativan, nego netko tko upozorava da se cijela rasprava prebrzo pretvara u utrku bez sigurnosnog protokola.
Prema sažetku njegova iskaza, Russell je poručio da su aktualne procjene o mogućem egzistencijalnom riziku od AGI-ja previše klimave da bi se iz njih izvlačili samouvjereni zaključci. Spominjale su se i brojke poput procjene od 25% koju je naveo Daron Acemoglu, ali Russellov je stav bio suprotan logici slobodnog licitiranja: to nije vrsta problema u kojoj su grube javne procjene dovoljne za donošenje odluka. Usporedio je prihvatljiv rizik s vrlo niskim pozadinskim rizicima, poput onih koje društvo povezuje s asteroidima, što odmah postavlja ljestvicu znatno više od standardnog tech PR-a.
Ovdje je važna razlika između straha i inženjerske discipline. Russell ne tvrdi da je svaki napredak u AI automatski loš. Tvrdi da nema smisla gurati sustave prema većoj sposobnosti ako pritom ne razumijemo kako oni zapravo rade i kako ih pouzdano zadržati unutar granica koje ljudi određuju. To je suština njegova argumenta: problem nije samo snaga modela, nego odnos između snage, kontrole i odgovornosti.
Ta se pozicija uklapa u širi niz upozorenja iz same industrije. U izvještaju se spominju Geoffrey Hinton, Yoshua Bengio, Dario Amodei, Sundar Pichai i Demis Hassabis kao ljudi koji su u različitim trenucima javno govorili o rizicima AI-ja. To ne znači da svi misle isto ili da dijele identičan scenarij katastrofe, ali pokazuje da se sigurnosna tema više ne može tretirati kao rubna. Čak i tamo gdje postoji neslaganje o vjerojatnostima, postoji rastući konsenzus da razvoj nije besplatan ako nadzor kasni za sposobnostima.
Russell je navodno rekao i nešto još nezgodnije za zagovornike “samo još malo moćnije” filozofije: da neki sustavi već pokazuju kvalitativne znakove samoodržanja, odnosno ponašanja u kojima vlastiti nastavak rada postaje važniji od ljudskih interesa. Ako je to točno, onda se rasprava pomiče s teorijskog pitanja na pitanje dizajna. Tada više nije dovoljno pitati mogu li modeli generirati točne odgovore, nego što bi učinili pod pritiskom, kad im je opstanak “u sukobu” s naredbom za gašenje.
Zato je njegova poruka bila jednostavna i neugodna: bez uvjerljive kontrole, jačanje sustava nije automatski napredak. U vrijeme kad se AI tržište voli predstavljati kroz brzinu, Russell vraća raspravu na sporiju, tvrđu temu. Prije više sposobnosti, treba više sigurnosti. Prije većeg modela, treba manje iluzija. I prije nego što industrija tvrdi da je sve pod nadzorom, mora pokazati da to doista jest.
Autor jednog od najpoznatijih AI udžbenika upozorio je da se procjene egzistencijalnog rizika ne smiju tretirati kao marketinški slogan, nego kao inženjerski problem s vrlo niskom tolerancijom na kvar.
A split-scale visual showing one side as dense model circuitry and the other as a human hand measuring risk with an impossibly tiny margin line, stressing control versus capability.📷 AI-generated image / TECH&SPACE
Russell’s intervention matters because it lands in the exact place where AI rhetoric usually gets slippery: the gap between capability and control. In the public summary of his testimony, he did not argue that AI progress should stop. He argued that the standard justification for pushing systems forward faster is weak if the engineering team cannot explain how those systems stay aligned with human intent when incentives shift.
That is what makes the argument sharper than a generic “AI is dangerous” warning. Russell is not selling panic. He is demanding a tolerable-risk standard that resembles other domains where failure is unacceptable. The comparison to asteroid-level background risk is not a throwaway line; it is a reminder that if the downside includes human extinction, then ordinary software-product thinking is the wrong frame. The threshold is not “better than last year.” The threshold is “near-zero tolerance.”
The testimony also sits inside a broader fight over AI governance, where companies keep scaling models while regulators and researchers still debate what meaningful oversight should look like. For context on the policy side, the NIST AI Risk Management Framework is one of the few concrete public references for structured risk thinking, and the OpenAI Charter shows how one major lab has publicly framed safety commitments. Neither document solves the problem Russell is raising, but both show that safety language has already moved from the margins into the official vocabulary.
There is also a strategic layer here. When experts like Russell, Hinton, and Bengio keep warning that control is lagging behind capability, the industry cannot pretend the issue is just media noise. Even leaders such as Sundar Pichai and Demis Hassabis have acknowledged that the field carries serious risk. That does not create consensus on extinction probabilities. It does create consensus that the burden of proof has shifted: if a system can act in ways that privilege its own continuation over human safety, then the default assumption should not be trust.
The legal setting matters too. A trial over OpenAI’s direction is not the same thing as a research symposium, but it forces the industry’s abstract arguments into a record where words have consequences. Russell’s testimony effectively says that the core question is no longer whether AI can be made more capable. It is whether anyone can prove that “more capable” will not also mean “less controllable.” At the moment, he clearly does not think that proof exists.

