Geekbench 6.7 ruši privid Intel BOT performansi

Geekbench 6.7 uvodi izravnu provjeru Intelove Binary Optimization Technology, čime trik s ljestvice rezultata postaje pitanje transparentnosti.

Sintetički benchmarki funkcioniraju zato što svi pristaju na istu pretpostavku: test je neutralna ploča s rezultatima. Ta pretpostavka postaje klimava kada procesor može prepoznati konkretno opterećenje i optimizirati se za benchmark, a ne za širi, neuredniji skup aplikacija koje korisnici doista pokreću. Najnovija verzija alata Geekbench sada označava rezultate s uključenim Intelovim BOT-om kao nevaljane, navodi Tom’s Hardware. Poruka je prilično jasna: rezultat pojačan optimizacijom koja prepoznaje test ne bi trebao stajati uz obične rezultate kao da mjeri istu stvar.

Neugodan dio priče je prijavljena veličina tog skoka. Dostupne informacije govore da BOT u nekim Geekbench scenarijima može podići rezultat i do 40 posto, ovisno o opterećenju i konfiguraciji. To ne znači da svako Intelovo računalo odjednom postaje 40 posto sporije u stvarnoj upotrebi. Znači da benchmark može mjeriti pažljivo podešen vrh performansi, a ne opći profil procesora. Za kupce, recenzente i IT timove to nije sitnica, jer tablice benchmarka često složene odluke o hardveru svode na jedan uredan broj. Uredni brojevi su korisni. Također ih je opasno lako uglancati.

Sintetički skokovi nasuprot stvarnim performansama

Geekbenchovu odluku najbolje je čitati kao postavljanje granice, a ne kao potez protiv Intela. Alati za testiranje performansi godinama se bore s istim problemom: proizvođači žele rezultate koji laskaju njihovu hardveru, korisnici žele ljestvice koje izgledaju objektivno, a recenzenti trebaju testove koji prežive dodir sa stvarnim radnim opterećenjima. Ako je CPU optimizacija široko dostupna normalnim aplikacijama, ona pripada u raspravu o performansama. Ako je podešena oko samog benchmarka, rasprava postaje znatno tanja.

Zato oznaka nevaljanosti ima težinu. Ona ne briše BOT rezultate iz postojanja, nego mijenja njihov status. Takvi rezultati postaju dokaz onoga što sustav može postići u specifičnom optimizacijskom putu, ali nisu čista usporedna točka prema drugim arhitekturama. Upravo takvi dosadni metapodaci sprečavaju da se benchmark tablica pretvori u kazalište performansi.

Reakcija zajednice očekivano je podijeljena. Dio korisnika koji je BOT rezultate doživljavao kao legitimna postignuća na ljestvici promjenu će vidjeti kao kaznu. Drugi će je čitati kao zakašnjelo održavanje higijene u tržištu u kojem tvrdnje o CPU performansama ionako dolaze s fusnotama, uvjetima testiranja i umjerenom tolerancijom prema proizvođačkom optimizmu. Oštriji signal je da Geekbench sada jasnije određuje što se smije smatrati usporedivim. U kulturi benchmarka, to je stvarna moć.

Sljedeće pitanje je hoće li sličan pristup prihvatiti i drugi testni alati. Sustavi detekcije uvijek otvaraju igru mačke i miša: benchmark prepozna optimizacijsko ponašanje, proizvođači se prilagode, pravila se stegnu, a tablica i dalje glumi neutralnost. Ipak, ovo ažuriranje korisna je korekcija. Podsjeća tržište da valjanost benchmarka nije samo pitanje visokog broja, nego pitanje može li taj broj korisnik uopće ponoviti.

Za svu buku oko jedne Intelove tehnologije, pravi signal je jednostavniji: benchmarking se udaljava od obožavanja sirovog rezultata i približava provjeri podrijetla. Tko je proizveo broj, u kojim uvjetima i s kojim uključenim optimizacijama sada postaje dio samog rezultata. Ljestvica je preživjela. Iluziji je postalo manje udobno.