Ollama 0.19: Apple Silicon dobiva MLX turbo, ali koliko to znači?

Ollama je s verzijom 0.19 napokon iskoristio Appleov MLX framework za ubrzanje lokalnih modela na Silicon čipovima – ali bez jasnih brojeka o poboljšanju. Dok Product Hunt pliva u hvali o „masivnom“ ubrzanju, stvarna priča je u detaljima: MLX optimizira matrice za Appleov Neural Engine, što teorijski smanjuje latenciju kod inferencije.

Problem? Niti jedna službena usporedba s prethodnom verzijom, niti benchmark na realnim opterećenjima.

Dio communityja već slavi kako se modeli sada 'pokreću kao na maslacu' na M2 Pro, ali to su anegdotske priče – ne dokazi. Čak i ako je ubrzanje značajno, pitanje je koliko će to biti vidljivo van idealnih uvjeta: lokalni LLM-i i dalje zahtijevaju RAM, a Appleovi čipovi imaju ograničenja s VRAM-om za veće modele.

Zanimljivije od samog ubrzanja je što Ollama sada eksplicitno cilja Appleov ekosustav, što nije bilo slučajno. Appleov MLX je još uvijek relativno mlada tehnologija, a njegova integracija znači da Ollama sada ima 'domaćinicu' za razvijače koji rade na macOS-u.

To možda zvuči kao tehnički detalj, ali je zapravo strategijski potez: manje ovisnosti o CUDA-i, više kontrole nad performansama na Appleovom hardveru.

Realni signal ovdje nije u brzini već u smjeru: Ollama polako postaje platforma koja ne favorizira samo Nvidiju. Za razvijače koji rade na Apple Siliconu, to znači manje kompromisa prilikom lokalnog testiranja modela – npr.

Mistral 7B ili Llama 2 sada bi trebali raditi glatije. Ali pažnja: 'lokalno' ne znači 'besplatno' – veliki modeli i dalje koštaju resurse, a Appleovi čipovi nisu magični za sve slučajeve upotrebe.

Konkurenti poput LM Studio ili Jan.ai već dugo nude lokalne LLM-ove, ali Ollama sada ima prednost u integriranju s Appleovim alatom. Ako se ovo pokaže stabilnim, mogao bi postati de facto izbor za macOS razvijače koji žele izbjeći cloud.

Ipak, ostaje pitanje koliko će ova optimizacija biti relevantna za prosječnog korisnika: većina i dalje koristi LLM-ove preko API-ja, a lokalna pokretanja su niche. Najveći rizik za Ollamu je da se uhvati u 'brži je bolji' narativi bez dokaza.

Dok god nema transparentnih usporedbi s verzijom 0.18 ili konkurentima, sve ostaje u sferi 'vjeruj nam, radimo na tome'. A to je opasna igra u svijetu gdje svaki tjedan izlazi nova 'revolucija' u AI-u.

Strateški potez Ollame da se usredotoči na Appleov ekosustav može joj osigurati prednost među macOS razvijačima. Međutim, bez transparentnosti i konkretnih rezultata, teško je procijeniti hoće li ovo dugoročno donijeti stvarnu konkurentsku prednost.