Az AI/ML-témakörben megismerhető ismertetők, oktatások nagyrészt a feladat központi tevékenységével – adatelőkészítés, modellezés, finomhangolás, kiértékelés – kapcsolatos, pedig végül egy sikeresen előállított modell vagy modellpipeline így vagy úgy, de üzembe kell hogy kerüljön annak érdekében, hogy tényleges hasznot hozzon a szervezetnek. A termékesítés pedig bonyolultabb a puszta deploymentnél és az utólagos mérési tevékenységnél; ezt a témakört vizsgáljuk meg ebben a cikkben.

Alapvetően három területe van (jelenleg) a témának: MLOps, LLMOps és AgentOps.

MLOps (Machine Learning Operations)

Ez a legrégebbi (bár a machine learning-területhez képest meglepően későn kialakult) feladatkör, amely a konvencionális gépi tanulási modellek menedzselésével foglalkozik. Ide tartozik a modellezés előtti fázis (adatgyűjtés, adatfeltérképezés, átalakítás és bővítés), a modell tulajdonképpeni tanítása a kísérlet lépéseinek dokumentálásával (experiment tracking), a kész modellek update-elése, verziózása, maga a deployment (pl. dockerizált API formájában) valamint a post-deployment lépések a monitorozással, esetlegesen szükséges utólagos beavatkozásokkal.

LLMOps (Large Language Model Operations)

Ez a tevékenység az MLOps alapjaira épít, ám hozzátesz olyan speciális kérdéseket, mint a promptolás, információkinyerés (jellemzően külső forrásokból, mint más API-k vagy vektoradatbázisok), költségmenedzsment vagy LLM-specifikus kiértékelés. A nyelvi modellek működése ugyanis újabb tevékenységeket igényel, így a generált válaszok minőségi és technikai értékelése, tokenhasználat hatékonysága, különböző modellalternatívák feladatspecifikus választása, védőkorlátok beépítése.

AgentOps

Az előző két témához járuló újabb réteg az ágensalapú működés további specifikus olyan szempontokkal, mint a különféle eszközhívások, többlépéses működési logikák menedzselése (pl. lehetséges lépések közötti automatikus döntés), megfelelő monitoring az elvégzett, el nem végzett feladatok, hibás futások rögzítésével, amelyeket később az üzemeltetői csapat kielemezhet.

Röviden összefoglalva tehát: