13 milijardi parametara, nula znanja: Talkie misli da smo još u 1930.
Arhivske knjige i model koji iz njih izvodi svijet 1930-ih.📷 AI-generated / Tech&Space, manual prompt only
- ★Talkie je model od 13 milijardi parametara treniran na 260 milijardi tokena iz tekstova objavljenih prije 1931.
- ★Kad ga pitaš za 2026., zamišlja parobrode, željeznice i jeftine romane, a za Drugi svjetski rat misli da možda nikad neće doći.
- ★Autori planiraju skalirati sustav prema GPT-3 razini do ljeta 2026., ali sam eksperiment već pokazuje koliku moć ima knowledge cutoff.
The Decoder opisuje Talkie kao model od 13 milijardi parametara treniran na 260 milijardi tokena iz tekstova objavljenih prije 1931. To nije slučajan stilistički eksperiment nego namjerna demonstracija: kad model ne vidi ništa nakon određene godine, njegov pogled na svijet ostaje vezan uz taj rez. Zato Talkie 2026. ne zamišlja kao našu 2026. nego kao povijesni odjek 1930-ih. U odgovoru na budućnost vide se parobrodi, željeznice i jeftini romani, dok je Drugi svjetski rat, prema njegovu svjetonazoru, nešto što možda neće ni doći. Broj parametara ovdje ne pomaže sam po sebi. Ako je korpus star, i modelova stvarnost ostaje stara. Upravo tu je vrijednost eksperimenta. Talkie ne pokušava biti koristan asistent, nego ogledalo za to koliko training data oblikuje ono što model smatra mogućim. To je jača lekcija od običnog "AI je pogriješio" trenutka, jer pokazuje da je knowledge cutoff zapravo konstrukcijska odluka, a ne sitni tehnički detalj.
Eksperiment s prije-1931 tekstovima pokazuje koliko knowledge cutoff može zakrenuti svjetonazor modela, čak i kad broj parametara zvuči ozbiljno.
Pre-1931 tekstovi hrane model koji zamišlja parobrode i željeznice.📷 AI-generated / Tech&Space, manual prompt only
Lako je cijelu stvar pretvoriti u šalu o vintage chatbotu, ali to bi preskočilo bit. Ako model treniran na predratnim tekstovima 2026. vidi kao eru parobroda, onda je jasno koliko granularno podaci određuju ponašanje. To vrijedi za sve modele: arhitektura može biti impresivna, ali bez odgovarajućeg korpusa rezultat ostaje ukorijenjen u prošlosti. I zato je zanimljivo da tim planira skalirati Talkie prema GPT-3 razini do ljeta 2026. To ne mijenja samu poantu eksperimenta. Ako ga proširiš, dobivaš snažniji model, ali i dalje vrijedi pitanje što se događa kada mu je vremenska granica postavljena preusko. Drugim riječima, veći model nije automatski i moderniji model. Ovakav projekt je koristan jer inženjerima i istraživačima vraća fokus na to da dataset nije samo hrana za treniranje, nego i granica onoga što model može znati. Kada je ta granica pogrešno postavljena, model ne griješi samo u detaljima. Može razviti potpuno drugi svjetonazor. Zato je Talkie zanimljiv više kao dijagnostički alat nego kao proizvod. Pokazuje da se kvalitetan AI ne mjeri samo veličinom modela, nego i time gdje su postavljene temporalne i znanstvene ograde. U tom smislu, 1930. nije samo datum. To je cijela granica mogućnosti.
