AI radovi ne moraju biti točni da bi trošili najskuplji resurs znanosti
A peer-review desk overwhelmed by polished AI-generated manuscripts, with citation threads converging on a single 2017 epidemiology paper.📷 AI-generated image / TECH&SPACE
- ★Rad iz 2017. iznenada je dobio stotine citata iz sumnjivih epidemioloških publikacija.
- ★Sporni radovi često koriste Global Burden of Disease skup podataka i izgledaju dovoljno uredno za prolazak kroz sustav.
- ★AI alati pojačavaju stariji problem tvornica radova jer smanjuju cijenu i vrijeme proizvodnje akademskog šuma.
The Verge otvara priču kroz neobičan signal: postdoktorski istraživač Peter Degen suočio se s radom koji je bio citiran previše, i to na krivi način. U akademiji je citiranost obično valuta reputacije, ali ovdje je rad iz 2017. o statističkoj analizi epidemioloških podataka počeo dobivati stotine citata u kratkom razdoblju. To nije izgledalo kao organski val interesa, nego kao trag serijski proizvedenih radova koji trebaju legitimne reference da bi djelovali znanstveno.
Važan detalj je tema tih radova. Prema sažetku izvora, mnogi su analizirali podatke iz Global Burden of Disease, velikog međunarodnog istraživačkog okvira koji se često koristi u javnom zdravstvu. Takvi podaci jesu legitimni i korisni, ali baš zato postaju zgodna sirovina za radove koji izgledaju ozbiljno: dovoljno je uzeti poznat skup podataka, dodati statistički okvir, složiti uvjerljivu strukturu i provući tekst kroz alat koji zna oponašati akademski stil.
Slučaj neobično citiranog rada iz 2017. pokazuje kako generativni alati i stare tvornice radova sada proizvode uvjerljiviji šum u znanstvenom sustavu.
A close analytical view of citation-network contamination around public-health datasets and automated paper production.📷 AI-generated image / TECH&SPACE
Ovo nije priča o tome da je svaki rad s AI pomoći automatski prijevara. Problem je uži i opasniji: generativni alati spuštaju trošak proizvodnje publikacija koje su površinski uredne, ali sadržajno slabe, redundantne ili namjerno manipulativne. The Verge navodi i primjer tvrtke iz Guangzhoua koja nudi upute za proizvodnju objavljivog istraživanja za manje od dva sata uz AI pisanje. To je industrijska logika, ne znanstvena znatiželja.
Znanstveno izdavaštvo već godinama ima problem s takozvanim paper mills modelom, u kojem se radovi proizvode po narudžbi radi karijernih bodova, akademskih kvota ili institucionalnog pritiska. Committee on Publication Ethics opisuje paper mills kao sustavni rizik za integritet objavljivanja, jer urednici i recenzenti moraju razlikovati nespretan, ali iskren rad od sofisticirano upakiranog otpada. AI taj posao ne čini samo većim, nego i mutnijim.
Najveći trošak zato nije samo nekoliko loših članaka u bazama podataka. Trošak je u recenzentskom sustavu koji već radi na rubu. Ako urednik mora potrošiti sate na tekst koji je nastao kao poluautomatizirani proizvod, taj se kapacitet ne troši na stvarnu znanost. Ako se sumnjivi radovi međusobno citiraju, citatne metrike počinju mjeriti mrežu proizvodnje, a ne utjecaj ideja. Ako se takvi radovi naslanjaju na velike javnozdravstvene skupove podataka, mogu stvoriti lažan dojam konsenzusa oko tema koje kasnije ulaze u politike, smjernice i javne rasprave.
Zato su korisne politike o transparentnom korištenju AI-ja u pisanju, ali same nisu dovoljne. Natureove smjernice primjerice traže odgovornost autora i ograničavaju način na koji se AI alati mogu navoditi u znanstvenom radu. No stvarni pritisak je operativan: časopisi trebaju bolje detekcijske signale, provjere podataka, provjere citatnih mreža i urednike koji imaju vremena reći ne. Generativni AI nije izmislio akademski šum. Samo ga je učinio bržim, jeftinijim i dovoljno urednim da ga je teže ignorirati.
