Sljedeći AI prompt možda nećeš tipkati, nego pokazati mišem
A sharp editorial cover showing a cursor transformed into a context-gathering instrument over layered app windows, with the model reading what sits under the pointer.📷 AI-generated image / TECH&SPACE
- ★Pointer Engineering ne mijenja samo prompt, nego tretira kretanje kursora kao dio AI konteksta.
- ★Prema opisu iz izvora, ideja je da ponašanje sučelja modelu kaže što korisnik vjerojatno želi sljedeće.
- ★Projekt se, prema objavi, već povezuje s Geminijem, gdje bi signali kursora mogli postati novi ulazni sloj.
DeepMind je ovdje krenuo od vrlo jednostavne iritacije: većina AI alata i dalje živi u svom zasebnom prozoru, dok korisnik mora kopirati, prebacivati i objašnjavati što se na ekranu zapravo događa. Iz toga je nastao Pointer Engineering, ideja koja pokušava preokrenuti logiku klasičnog prompta. Umjesto da korisnik ručno prenosi svijet u model, pokazivač bi trebao postati signal za ono što je bitno u trenutku rada.
To je zanimljivo jer ne govori o većem modelu, nego o boljem ulazu. U praksi se često pokazuje da problem nije samo u odgovoru nego u tome koliko model vidi iz konteksta. Ako AI zna što je pod kursorom, što je označeno, na što korisnik upire i u kojem se vizualnom odnosu nalaze elementi na stranici, tada se dio “prompt inženjeringa” seli iz tekstualnog prozora u samu grafičku interakciju. To je manji marketinški trik, a veća promjena u korisničkom sučelju.
Izvor navodi da se ideja veže uz Gemini u Chromeu i da bi se mogla pojaviti kao Magic Pointer na budućem Googleovu Book uređaju. Tu je važno zadržati hladnu glavu: riječ je o konceptu i smjeru proizvoda, ne o dokazanom novom standardu rada. To ipak ne znači da je ideja nevažna. Naprotiv, ovakve promjene često prvo izgledaju kao sitan UI detalj, a kasnije završe kao novi osnovni obrazac uporabe. U tom smislu korisno je pogledati i kako se širi širi trend kontekstualnih AI sučelja kroz DeepMind, Gemini i Chrome.
Novi pristup želi pretvoriti pokazivač u aktivni izvor konteksta, umjesto da korisnik stalno ručno prenosi ekran u model.
A different angle that zooms into the pointer and surrounding interface signals, showing selection, hover state, and context capture as a UI mechanism.📷 AI-generated image / TECH&SPACE
S tehničke strane, Pointer Engineering je logičan nastavak rasprave o context engineeringu: što je modelu bliže stvarni zadatak, to je manja potreba da korisnik sve objašnjava riječima. Ali to nije besplatno poboljšanje. Svaki sloj koji automatski čita ekran, selekciju ili vizualni fokus povećava i osjetljivost na privatnost, točnost interpretacije i ograničenja u neurednim sučeljima. Upravo zato je važno da se ovakve ideje testiraju na stvarnim zadacima, a ne samo na demo snimkama.
[ArticleBreak />
Na kraju, najvažnije pitanje nije može li AI vidjeti više, nego treba li vidjeti više baš u tom trenutku. Ako Pointer Engineering ostane samo naziv za još jedan pametni pokazivač, neće promijeniti puno. Ako, međutim, postane način da se kontekst hvata prirodnije i preciznije, to je već ozbiljan udar na staru podjelu između “onoga što gledam” i “onoga što unosim” u model. A to je upravo vrsta promjene koja polako, ali stvarno, mijenja korisničko sučelje. Više tehničke pozadine i daljnjih naznaka o smjeru ovih interakcija vrijedi pratiti kroz The Decoder, Google AI i Google Blog.
