Ahogy az agentikus AI-rendszerek egyre nagyobb számban implementációra kerülnek valós feladatoknál, az üzemeltetés során több probléma is jelentkezik, a legáltalánosabb ezek közül a költség és a nagy látencia (ezek lefaragásán természetesen fájó szintre emelkedésük nélkül is érdemes mindig dolgozni). A problémák hátterében az a tény áll, hogy az ilyen rendszerek hátterében majdnem mindig valamilyen LLM modellhívás áll, amelynek kiszervezzük az ügynökök tervezési, feladatvégrehajtási, ellenőrzési munkájának intelligens részét. Két lehetséges módszert mutatunk be ezek orvoslására.
Prompt caching
Az első megoldás abból a tapasztalatból indul ki, hogy az agentikus rendszerekben gyakori az olyan ismételt modellhívás, amikor nagyon hasonló kéréseket küldünk és hasonló válaszokat kapunk; jó lenne ezeket a redundáns hívásokat megspórolni valahogy. Erre a célra lehet beépíteni a promptok és visszaadott válaszok tárolását (cache-elését), így amikor egy következő esetben egy olyan prompt érkezik, amelyik lényegében azonos/hasonló egy már eltárolttal, akkor a (fizetős) modellhívás helyett egyszerűen visszaadjuk azt a (szintén eltárolt) választ, amit a korábbira már egyszer megkaptunk.
A módszer előnye a költségtakarékosságon kívül a sebesség, hiszen egy eltárolt válasz közlése jóval gyorsabban megoldható, mint egy (távoli) modellel való újragenerálása. Akkor javasolt, ha viszonylag statikus szituációban dolgozunk: a promptok és a szükséges információk nem nagyon változnak (tipikusan ilyen lehet a call centerek munkája, ahol rendszeresen ismétlődő kérdések és válaszok merülnek fel), és az ügynökök rendszeresen ugyanazokat a lépéseket hajtják végre).
Fine tuning
Más megközelítést alkalmazunk, amikor a modellt megpróbáljuk megtanítani a feladat- és felhasználóspecifikus viselkedésre, szabályokra, információkra, és így a komplex, hosszadalmas promptokat és kontextust leegyszerűsítve spórolunk az erőforrásokon úgy, hogy a működési minőség nem romlik. Ez a tudás finomhangolással vihető be a modellbe. Természetesen egy nagy modell újrahangolása elég erőforrásigényes feladat önmagában is, emiatt általában csak utolsó eshetőségként szokták javasolni más optimalizációs eljárásokkal szemben, de olykor indokolt lehet, és manapság már vannak olyan eljárások (pl. LoRA vagy PEFT), amelyekkel az összes paraméter helyett csak azok szükséges részhalmazát kell megváltoztatnunk tanításkor.
Olyan feladatoknál ajánlott, amikor a modellünket tartósan olyan sajátos stílusú perszónaként szeretnénk megszólaltatni, amire csak hosszadalmas promptolással tudjuk rávezetni, de hasznos lehet, amikor fix, meghatározott outputformátumot várunk, amihez terjedelmes tanítópéldákat kellene mutatnunk.
És természetesen lehetőség van a kettő ötvözésére is, például olyan formában, amikor a LLM helyett SLM-et használunk, amelyet először igény szerint finomhangolunk, majd ezt javítjuk tovább prompt cachinggel.