Cache za AI eru: tko će platiti račun za 10 milijardi zahtjeva
📷 Wikipedia / Wikimedia Commons
- ★Cloudflare bilježi 32% automatiziranog prometa
- ★80% AI botova u ukupnom botskom prometu
- ★Novi cache modeli još u istraživačkoj fazi
Cloudflare je prvi put javno kvantificirao problem koji godinama tiho muči infrastrukturu: 32 % ukupnog prometa na njihovoj mreži dolazi od automatiziranih izvora, a čak 80 % tog botskog prometa pripisuje se AI crawlerima. Brojke iz istraživačkog rada objavljenog na Symposium on Cloud Computing 2025. govore o skali koja ruši tradicionalne pretpostavke o cache dizajnu.
Dok ljudski korisnici pristupaju sadržaju u predvidljivim obrascima, AI botovi bombardiraju servere s tisućama zahtjeva u sekundi, često za isti resurs. To stvara potpuno novu dinamiku opterećenja. Problem nije samo u količini, već i u kvaliteti prometa. AI crawleri ne poštuju robots.txt, ignoriraju rate limiting i često zahtijevaju isti sadržaj više puta u kratkom intervalu – ponašanje koje je Cloudflare opisao kao 'agresivno' u svom blogu.
Stari cache ne može pratiti agresivnost AI crawlera
To znači da tradicionalni cache modeli, optimizirani za ljudske obrasce ponašanja, postaju neučinkoviti. Svaki promašaj u cacheu znači dodatno opterećenje za podrijetlo, što posredno povećava troškove za operatere web stranica.
Rješenje? Cloudflare još nema gotov proizvod, ali istraživački rad s ETH Zurich sugerira da će rješenje ležati u dinamičkom cacheu koji može razlikovati između ljudskih i AI zahtjeva. To otvara pitanje: hoće li operatori biti prisiljeni birati između optimizacije za ljude ili za AI, ili će novi cache modeli moći zadovoljiti oba segmenta bez kompromisa? Ono što je zanimljivo u ovom slučaju nije tehnologija sama po sebi, već tržišni signal koji šalje.
Cloudflare, kao jedan od najvećih CDN pružatelja, jasno poručuje da se infrastruktura mora prilagoditi AI eri – ali to prilagođavanje dolazi s cijenom.
Istraživački rad ne spominje konkretne troškove, ali jasno je da će operatori web stranica morati investirati u nove cache strategije ili riskirati degradaciju performansi. To je posebno relevantno za medijske kuće i e-commerce platforme, gdje svaka milisekunda kašnjenja može značiti gubitak prihoda. Još jedna zanimljiva implikacija jest kako će se ova promjena odraziti na SEO i pristup sadržaju.