HSCO-Bench testira LLM agente na stvarnom HW-SW su-dizajnu čipova
HSCO-Bench prikazuje LLM agenta kao sudionika u cijelom SoC co-design toku.📷 AI-generated image / TECH&SPACE
- ★HSCO-Bench spaja softverske i hardverske evaluacije koje se u AI benchmarkovima obično mjere odvojeno.
- ★Benchmark je usmjeren na heterogene SoC-ove, gdje odluke o kodu, akceleratorima i platformi utječu jedna na drugu.
- ★Rad dolazi iz Columbia Universityja i IBM Researcha, a objavio ga je Semiconductor Engineering 25. svibnja 2026.
Istraživači s Columbia Universityja i IBM Researcha objavili su rad “HSCO-Bench: An Agent-Driven End-to-End Hardware-Software Co-design Benchmark for Systems-on-Chip”, prema sažetku koji je prenio Semiconductor Engineering. Tema je tehnička, ali problem je vrlo konkretan: veliki jezični modeli sve češće ulaze u dizajn softvera i hardvera, dok ih industrija i akademija i dalje uglavnom testiraju na odvojenim zadacima.
To je slab model za svijet heterogenih sustava na čipu. U takvom SoC-u performanse ne ovise samo o tome je li softver “dobar” ili je hardverski blok “brz”. Ovise o tome kako se posao dijeli između procesorskih jezgri, akceleratora, memorije, međuveza i softverskog sloja koji sve to koristi. Ako benchmark softveru pretpostavi fiksni hardver, a hardveru dopusti samo optimizaciju komponente, promašuje se najvažniji dio odluke: zajednički dizajn.
HSCO-Bench zato pokušava mjeriti LLM agente kroz end-to-end hardware-software co-design tok. To znači da agent nije samo generator koda, niti samo pomoćnik za optimizaciju hardverskog modula. On se procjenjuje u širem procesu u kojem se softverske i hardverske odluke međusobno uvjetuju. Za poluvodičku industriju to je bitna promjena tona, jer se AI alati ne smiju vrednovati samo po tome mogu li riješiti izolirani zadatak, nego po tome mogu li voditi složeni inženjerski kompromis.
Columbia University i IBM Research predlažu benchmark koji ne odvaja softver od hardvera, nego mjeri može li agent optimizirati cijeli heterogeni SoC tok.
Benchmark mjeri povezane odluke između koda, akceleratora i SoC platforme.📷 AI-generated image / TECH&SPACE
Upravo tu leži razlika između atraktivnog demo-scenarija i korisnog benchmarka. LLM može izgledati uvjerljivo kad napiše funkciju, predloži optimizaciju ili opiše mikroarhitekturu. Ali heterogeni SoC traži seriju povezanih odluka: što prebaciti u hardver, gdje ostaviti fleksibilnost u softveru, kako izbjeći usko grlo u memorijskom putu i kako očuvati smislen odnos performansi, potrošnje i kompleksnosti. Ako agent ne vidi cijeli lanac, njegov rezultat može biti lokalno elegantan i sistemski pogrešan.
Zato je zanimljivo da HSCO-Bench dolazi iz kombinacije akademskog i industrijskog okruženja. Columbia donosi istraživački okvir, a IBM Research ima dugu povijest rada na računalnim sustavima, čipovima i AI alatima. U objavljenom sažetku nema dovoljno detalja za zaključak o stvarnim rezultatima benchmarka, pa ih ne treba izmišljati. Važniji signal je sama definicija problema: evaluacija AI agenata za čipove mora se pomaknuti s komponenti na tokove rada.
Za korisnike izvan EDA i SoC krugova, to zvuči usko, ali posljedice su šire. Ako se LLM agenti žele koristiti u dizajnu računalnih sustava, moraju biti testirani tamo gdje odluke imaju trošak. Heterogeni SoC nije tekstualna zagonetka; to je prostor kompromisa između softverske prenosivosti, hardverske specijalizacije i proizvodne realnosti. HSCO-Bench zato nije važan zato što obećava čarobnu automatizaciju, nego zato što postavlja strože pitanje: može li agent razumjeti sustav, a ne samo njegov najlakši dio?
