AI self-improvement hits a human-data ceiling

Samopoboljšanje AI-ja zvuči kao prirodan sljedeći korak, ali ovaj rad podsjeća da i ta ideja ima granice. Continually self-improving AI tvrdi da današnji modeli ne mogu beskonačno napredovati jer ovise o tri uska grla: o ograničenim ljudski pisanim podacima, o nedovoljno učinkovitoj prilagodbi na specijalizirane skupove i o algoritmima koji su i dalje proizvod ljudske domišljatosti. Drugim riječima, problem nije samo u tome koliko imamo computea, nego i u tome koliko smo još sposobni isporučiti smislenog novog znanja.

To je važna promjena u tonu rasprave. Mnogo AI priča pretpostavlja da je put prema naprijed jednostavan: više modela, više podataka, više čipova. Ovaj rad kaže da se taj model već sudara sa stropom. Ako curriculum learning, meta-learning i synthetic data postanu glavne alternative, industrija će se morati odmaknuti od ideje da svaka nova faza razvoja dolazi iz istog izvora.

Za developere je to praktično pitanje, ne samo filozofsko. Ako se pokaže da je napredak ograničen količinom i kvalitetom ljudskih podataka, onda će prava konkurentska prednost biti u efikasnosti treniranja, kvaliteti sintetičkih tokova i sposobnosti da se modeli uče iz manje, ali pametnije organizirane baze znanja. Tu već gledamo prema open-source zajednici, ali i prema laboratorijima koji pokušavaju izvući maksimum iz manjeg inputa. To nije spektakularno kao lansiranje većeg modela, ali je vjerojatno važnije.

Problem je što je cijela priča još uvijek teorijska. Bez demonstracija, to ostaje dobro postavljen problem, a ne rješenje. Ali i to je korisno: istraživanje je barem izgovorilo naglas ono što industrija često prešućuje. Ako AI želi stvarno učiti sam od sebe, morat će pronaći put izvan teksta koji su ljudi već napisali. A to je puno teže od još jednog kruga scalea.

U konačnici, ovo je priča o granici modela i granici ambicije. Ne postoji beskonačan bazen ljudskog znanja koji će rasti brže od sustava koji ga pokušava progutati. Zato je ovaj rad zanimljiv kao upozorenje: sljedeći skok vjerojatno neće doći iz većeg modela, nego iz boljeg načina da model uči kada mu ponestane ljudskog materijala.