ToT dobiva laki plug-in – ali tko to stvarno koristi?

Kad je Tree of Thoughts (ToT) pred godinu dana predstavljen kao 'sljedeći korak' u LLM razmišljanju, većina je zaboravila pitati koliko će koštati koristiti ga. Sada nam arXiv:2603.20267v1 donosi DST – Domain-Specialized Tree of Thought s 'plug-and-play prediktorom' koji obećava smanjiti računske troškove. Umjesto da se oslanjamo na skupe LLM self-evaluacije za pruning grana, autori predlažu nadgledano učenje lakih heuristika koje bi trebale 'dinamički voditi pretragu'. Problem je što ovo zvuči kao rješenje za problem koji većina tvrtki ne ima. ToT je od početka bio akademski koncept s ograničenom primjenom izvan sintetičkih benchmarkova. Čak i s 'lakšim' prediktorom, pitanje ostaje: tko zapravo koristi ToT u produkciji, osim u paperima s finim tuningom? Previše je to kao optimizirati motor za auto koji nikad neće izaći iz garaže. Rani signali iz GitHub diskusija sugeriraju da developeri više vole jednostavnije pristupe – lančano razmišljanje (CoT) ili čak klasično fine-tuninganje. DST možda smanjuje troškove, ali ne i kompleksnost implementacije, što je pravi razlog zašto ToT nije postao standard. Čini se da je glavna prednost DST-a u tome što nudi alibi za nastavak istraživanja ToT-a bez priznavanja da je originalni pristup previše skup za većinu slučajeva upotrebe. Ako se ovo potvrdi, možda je pravi cilj bio produljiti životni vijek koncepta dok se ne nađe nešto bolje – ili dok marketinški ciklusi ne preskoče na sljedeću 'veliku stvar'.

Benčmarkovi koje autori navode (prema dostupnim informacijama) pokazuju do 40% smanjenja računskih troškova u kontroliranim uvjetima. Ali, kao i uvijek, sintetički dataseti i realni sustavi su dva različita svijeta. Pravi signal ovdje nije u postotcima uštede, već u činjenici da niti jedna veća tvrtka nije usvojila ToT u core proizvodima – ni Google, ni Anthropic, ni čak Mistral s njihovim 'efikasnim' modelima. Industrijska mapa je jasna: startupi koji prodaju 'agentična rješenja' će ovako nešto navoditi u pitch deckovima, dok će stariji igrači čekati dok neko ne dokáže realnu prednost. Razvojna zajednica primjećuje da je DST koristan za uske domene (npr. matematičke dokaze), ali ne i za opću primjenu – što ga čini još jednom akademskom nišom umjesto skalabilnog alata. Zanimljivije je pitanje tko zapravo gura ove koncepte. ToT je od početka bio poigravanje s idejom 'šireg razmišljanja', ali je uvijek bio previše skup za praktičnu upotrebu. DST to možda čini manje nepraktičnim, ali ne i praktičnim. Ako je cilj bio samo objaviti paper s 'novim' pristupom – misija uspješna. Ako je cilj bio promijeniti kako korporacije grade AI – čekamo daljnje. Za razliku od Mixture-of-Experts (MoE) pristupa koji su doista smanjili troškove u produkciji, ToT (i sada DST) ostaje igračka za istraživače. To možda zvuči kao tehnički detalj, ali je zapravo simptom većeg problema: previše AI 'inovacija' rješava probleme koje niko osim autora papera ne ima.

Konačno, pitanje ostaje da li će DST biti dovoljan da održi interes za ToT-om ili će biti potrebno nešto novo. Vjerojatno ćemo morati čekati daljnje razvoje da bismo vidjeli što će se dogoditi. Do tada, DST će vjerojatno biti samo još jedan akademski koncept bez praktične primjene.