Nvidia želi da se AI hardver kupuje po cijelom ormaru, ne po čipu
A dense liquid-cooled AI rack opened like a technical showcase, with Rubin Ultra trays glowing around a central terabyte-memory motif.📷 AI-generated image / TECH&SPACE
- ★Rubin Ultra je prikazan s 1 TB HBM4E memorije i četiri compute chipleta u jednom pakiranju.
- ★Kyber NVL144 cilja rack-scale sustav sa 144 GPU pakiranja i zadanim tekućim hlađenjem.
- ★Glavni rizik nije samo cijena čipa, nego napajanje, servisiranje, NVLink topologija i dostupnost oko 2027.
Nvidia ovdje ne prodaje samo još jedan brži akcelerator, nego pokazuje kamo se pomiče usko grlo AI podatkovnih centara: prema memoriji, napajanju i rack dizajnu. Prema izvještaju Tom's Hardwarea, Rubin Ultra je prikazan kao AI GPU s 1 TB HBM4E memorije i četiri compute chipleta u jednom pakiranju. Taj broj nije ukras za prezentaciju.
Kod velikih modela, duljih konteksta i težih inferencijskih opterećenja količina brze memorije često određuje koliko se posla može držati blizu procesora, bez stalnog preslagivanja kroz sustav. Ako se izvedba potvrdi u proizvodnim sustavima, Rubin Ultra bi mogao smanjiti dio trenja koje danas tjera operatere na složene kompromise između veličine modela, batchinga i latencije. Kyber je drugi dio priče. Novi rack-scale dizajn trebao bi primiti 144 GPU pakiranja, uz vertikalne tray module i tekuće hlađenje kao zadanu infrastrukturu.
Rubin Ultra pretvara HBM4E memoriju, hlađenje i cijeli rack u glavnu priču
Close engineering view of vertical GPU trays, coolant manifolds, fiber interconnects and service labels inside a Kyber-style rack.📷 AI-generated image / TECH&SPACE
Nvidia, prema dostupnim informacijama, pozicionira Kyber NVL144 kao sustav koji nudi barem četiri puta više performansi od Oberon NVL72 konfiguracije s 72 Rubin GPU-a. Tu treba zadržati hladnu glavu: usporedbe rackova ovise o topologiji, mreži, potrošnji, softveru i tipu workloada, a ne samo o broju GPU-ova. Ipak, sama ambicija je jasna u izvornom izvještaju o Rubin Ultra trayu: Nvidia želi da kupci razmišljaju u jedinicama racka, ne u jedinicama kartice.
Za hyperscalere i najveće AI laboratorije to znači više kapaciteta po podnom metru, ali i veći prag ulaska. Tekuće hlađenje, gusto napajanje i NVLink infrastruktura nisu detalji iz specifikacije; to su operativni zahtjevi koji odlučuju tko ovaj hardver može uopće iskoristiti. Manji igrači vjerojatno će osjetiti napredak posredno, kroz cloud instance, ako se cijena i dostupnost ne pretvore u još jedan sloj oskudice.
