Nvidijini 288 GPU-a i igranje s brojevima na MLPerfu

Nvidijin GB300-NVL72 s Blackwell Ultra GPU-ima postavio je nove rekorde na MLPerf Inference v6.0 — ali s 288 GPU-a u jednoj konfiguraciji, što je više o marketinškom broju nego o realnom use case-u. Činjenica da je 2,7 puta poboljšanje performansi došlo isključivo zahvaljujući softverskim optimizacijama — a ne novom hardveru — otkriva pravi fokus: Nvidia ne prodaje čipove, prodaje skalabilnost koju malo tko može iskoristiti.

Podaci pokazuju da je njihov sustav postigao 2,49 milijuna tokena u sekundi na DeepSeek-R1, ali to je broj koji ima smisla samo u hiperscale okruženjima tipa Meta ili Microsoft. Za ostale, pitanje nije može li već treba li.

MLCommons je ovu rundu proširio s multimodalnim i video modelima, što je koristan korak — ali i podložno istom problemu: benchmarkovi mjere maksimalne mogućnosti, a ne realne troškove ili energetsku učinkovitost.

Dok Nvidia gura granice što više, AMD i Intel su se usredotočili na drugačije metrike: prvi na energetsku učinkovitost, drugi na integraciju CPU/GPU u enterprise okruženjima. To nije slabije, samo drugačije — i upravo ta nespojivost čini usporedbe besmislenim.

Pravi signal ovdje nije u brojevima, već u strategijskoj divergenciji. Nvidia drži 291 MLPerf pobjede od 2018. — devet puta više od svih drugih zajedno — ali to ne znači da su njihova rješenja optimalna za sve.

Najveća ironija? Svi ovi brojevi dolaze u trenutku kada se industrija počinje pitati jesu li benchmarkovi poput MLPerf-a uopće relevantni za svaki dan AI razvoja. Kada 90 % modela radi na cloud instance-u s 4 GPU-a ili manje, 288 zvuči više kao flex nego kao rješenje. Ovo pokazuje da je potrebno promijeniti način razmišljanja o performansama i skalabilnosti.