MemPalace: Savršeni benchmark, nesavršena stvarnost

Milla Jovovich, poznata po ulogama u Resident Evil i Future World, sada promovira MemPalace – AI memorijski sustav koji je, prema službenim podacima, postigao savršeni rezultat na LongMemEval benchmarku. Problem je u tome što u stvarnim testovima korisnika uspješnost pada na tek 17% Kotaku.

To nije samo razlika u performansama – to je jaz između marketinške priče i tehničke realnosti. MemPalace se predstavlja kao revolucija u dugoročnom pamćenju chat asistenata, ali razvojna zajednica reagirala je skeptično.

GitHub repozitorij pokazuje da je kod otvoren, no to ne znači da je funkcionalan. Korisnici ističu da sustav često ne uspijeva reproducirati rezultate iz benchmarka, što postavlja pitanje: koliko je ovaj test uopće relevantan za stvarnu uporabu? GitHub Iza projekta stoje Jovovich i Ben Sigman, čija kombinacija glumačke karijere i kripto pozadine dodatno podgrijava skepticizam.

U industriji gdje se AI alati često prodaju kao rješenja prije nego što su spremni, MemPalace nije iznimka – ali je možda najglasnija.

LongMemEval benchmark, iako koristan za usporedbu modela, nije dizajniran za realne scenarije. Savršeni rezultat u kontroliranim uvjetima ne jamči uspješnost u praksi, gdje varijable poput konteksta, brzine odgovora i pouzdanosti dolaze do izražaja.

MemPalaceov slučaj nije jedini – slične razlike između benchmarka i stvarne performanse viđene su i kod drugih AI projekata, poput ranih verzija Googleovog Geminija TechCrunch. Ono što ovdje stvarno iznenađuje nije toliko performansa, koliko način na koji se projekt promovira.

Jovovichin angažman dodaje glamur, ali i otvara pitanje odgovornosti kada slavne ličnosti promoviraju tehničke proizvode bez jasnog razumijevanja njihove funkcionalnosti. U međuvremenu, konkurencija poput Microsoftovog Recall ili OpenAI-jevih memorijskih eksperimenata nastavlja raditi na rješenjima koja su testirana u stvarnim uvjetima The Verge.

Za razvojnu zajednicu, MemPalace je signal da otvoreni kod nije garancija kvalitete. Iako je dostupan svima, nedostaju nezavisne provjere koje bi potvrdile njegove tvrdnje.

To postavlja pitanje: koliko još AI projekata prodaje snove umjesto rješenja?

Otvoreni kod je važan, ali sam po sebi nije dovoljan. Bez nezavisnih provjera i realnih testova, projekti poput MemPalacea riskiraju da postanu samo još jedan primjer marketinškog hypea koji ne ispunjava očekivanja.