AI chatbotovi ulaze u mentalno zdravlje. Ova studija testira sigurnosnu mrežu
The system is valuable as a safety evaluator, not as a replacement clinician.📷 Generated editorial visual / Tech&Space
- ★Sedam kliničkih kriterija za sigurnost LLM-ova
- ★Automatizirana ocjena putem LLM-as-a-Judge sustava
- ★Cohenov κ 0,75 za Gemini u usporedbi s ljudima
Veliki jezični modeli (LLM) sve se češće koriste kao alat za podršku mentalnom zdravlju, no njihova primjena kod osoba s psihozom donosi značajne rizike. Istraživanje objavljeno na arXiv-u 2604.02359v1 pokazuje da česta interakcija s LLM-ovima može pojačati deluzije i halucinacije kod pacijenata.
Problem je u tome što dosadašnje evaluacije modela nisu bile klinički validirane niti skalabilne, što ograničava njihovu primjenu u stvarnim scenarijima. Kako bi riješili ove izazove, istraživači su razvili trostupanjski okvir koji omogućuje pouzdaniju procjenu sigurnosti odgovora.
Automatska evaluacija može skalirati sigurnosne provjere, ali ne smije glumiti dijagnozu.
The key design choice is keeping clinical judgment at the end of the loop.📷 Generated editorial visual / Tech&Space
Prvi korak uključuje sedam kriterija za sigurnost LLM-ovih odgovora, dizajniranih u suradnji s kliničarima. Drugi korak je stvaranje skupa podataka temeljenog na ljudskom konsenzusu, dok treći korak koristi automatiziranu procjenu putem LLM-as-a-Judge i LLM-as-a-Jury sustava. Ovaj pristup omogućuje bržu i dosljedniju ocjenu odgovora modela, što je ključno za primjenu u kliničkim uvjetima.
Dodatni kontekst daje izvorni materijal, a testiranje je uključivalo tri modela: Gemini, Qwen i Kimi. Rezultati pokazuju različite razine podudarnosti s ljudskim ocjenama.
Cohenov koeficijent κ za Gemini iznosio je 0,75, što ukazuje na visoku razinu slaganja, dok su Qwen i Kimi postigli 0,68 odnosno 0,56. Najzanimljiviji rezultat postignut je kombinacijom LLM-as-a-Jury pristupa, gdje je κ dosegao 0,74, sugerirajući da grupna ocjena modela može biti jednako pouzdana kao pojedinačni modeli.
Istraživanje ne samo da poboljšava sigurnost LLM-ova u mentalnom zdravlju, već i postavlja temelje za buduće automatizirane evaluacije. Otvoreno objavljeni kod, podaci i demonstracije omogućuju daljnja istraživanja i primjenu u stvarnim uvjetima. Iako je fokus bio na psihozi, metoda bi mogla biti primjenjiva i na druge psihijatrijske poremećaje, čime se proširuje potencijalni utjecaj ovog rada.
Za provjeru konteksta, korisno je usporediti arXiv NLP, NIH i FDA AI/ML devices.
