Googleov Genkit dobiva kontrolni sloj za AI agente koji idu u produkciju
Genkit middleware kao kontrolni sloj između AI aplikacije, modela i alata.📷 AI-generated image / TECH&SPACE
- ★Genkit middleware uvodi programabilni presretački sloj oko modelskih poziva, alata i generativnih petlji.
- ★Promjena cilja produkcijske AI sustave kojima trebaju pouzdanost, sigurnosne provjere i jasnija orkestracija.
- ★Vijest je razvojno važna za timove koji grade agentske aplikacije na otvorenom Googleovu frameworku.
To nije kozmetički dodatak. U aplikacijama koje se oslanjaju na modele, logika za sigurnost, ponovne pokušaje, filtriranje ulaza, promatranje ponašanja i kontrolu alata često završi razbacana po servisima. Middleware taj problem premješta u jasniji sloj: prije ili poslije modelskog poziva može se provesti dodatna provjera, alat se može nadzirati prije izvršavanja, a generativna petlja može dobiti pravila koja nisu skrivena u pojedinačnim promptovima.
Genkit je već pozicioniran kao framework za razvoj AI tokova, agenata i integracija, s kodom dostupnim na GitHubu. Novi middleware zato treba čitati kao inženjerski signal, a ne kao još jednu najavu AI funkcije. Google pokušava dati developerima mjesto na kojem mogu oblikovati ponašanje sustava dok je još dovoljno blizu modelu, ali dovoljno odvojeno od poslovne logike aplikacije.
Novi presretački sloj u Genkitu developerima daje finiju kontrolu nad modelskim pozivima, alatima i generativnim petljama u produkcijskim AI sustavima.
Praćenje jednog zahtjeva kroz modelski poziv, alat i generativnu petlju.📷 AI-generated image / TECH&SPACE
Najvažniji dio je kontrola nad orchestration slojem. Agentske aplikacije ne šalju samo jedan prompt i ne čekaju odgovor. One mogu birati alate, ponavljati korake, pozivati vanjske API-je i graditi odgovor kroz više iteracija. Svaki od tih koraka povećava površinu za pogrešku. Middleware omogućuje da se pravila pouzdanosti i sigurnosti stave na putanju kojom podaci stvarno prolaze, umjesto da ostanu u dokumentaciji ili ručnoj disciplini tima.
Za produkcijske timove to znači praktičniji okvir za stvari poput validacije izlaza, kontrole troškova, telemetrije, guardraila i standardiziranog rukovanja greškama. Ne znači da Genkit automatski rješava sigurnost AI sustava. Znači da framework sada nudi prikladnije mjesto za implementaciju tih odluka, što je često razlika između prototipa i sustava koji se može održavati.
Kontekst je širi od Genkita. Open-source AI frameworkovi sve se više natječu oko toga tko developerima daje manje magije i više operativne kontrole. U tom smislu, Googleova promjena prati smjer u kojem se AI razvoj odmiče od demonstracija i približava običnom softverskom inženjerstvu: jasne granice, presretanje poziva, nadzor tokova i mogućnost da se ponašanje sustava mijenja bez kirurškog zahvata po cijeloj aplikaciji. Za timove koji već grade na Firebase ekosustavu ili istražuju agentske obrasce, middleware u Genkitu je mali, ali važan komad infrastrukture.
