Általános tapasztalat, hogy az LLM-alapú megoldások számára az input (jellemzően promptok) jóval több tokent tartalmaznak a feladat elvégzéséhez szükségesnél. Mivel azonban a modellek költségelszámolása tokenalapon történik, ez a gyakorlat az indokoltnál nagyobb számlákat eredményez (nem is beszélve a válaszidő növekedéséről vagy pontosság esetleges csökkenéséről). Az alábbiakban a prompttömörítés (prompt compression) lehetséges módszereinek bemutatásával nyújtunk lehetséges megoldásokat a problémára.
A prompttömörítés egyszerűen olyan eljárás, amelynek során a prompt (és esetlegesen más, jellemzően szöveges inputadatok) terjedelmét tudjuk úgy csökkenteni, hogy a lényegi információk megmaradjanak. A kihívást az jelenti, hogyan tudjuk megkülönböztetni a célfeladat szempontjából szükséges (megtartandó) részeket a (mellőzendő) szükségesektől. A módszer egyaránt hasznos közvetlen (akár chatalapú) LLM-ek, RAG-ek és ágensalapú megoldások használatakor. Nézzük, melyek a legismertebb technikák a probléma megoldására.
A legegyszerűbb módszer; lényegében “józan paraszti ésszel” átgondolva emeljük ki az értékesnek gondolt részeket, értelemszerűen a kihagyva az ismétléseket, töltelékszavakat, felesleges fejtegetéseket-megjegyzéseket stb.
Előnyök: szinte minden helyzetben használható, könnyen végrehajtható, szinte mindig értelmes végeredményt ad.
Hátrányok: emberi munkát igényel, rosszul skálázható.
Ebben az esetben a szabad szövegből táblázatot, felsorolást, JSON, YAML vagy más hasonló logikai struktúrát alkotunk, amelyben csak a lényegi információkat őrizzük meg. Példa:
input: Ez az ügyfél 18 hónapja regisztrált, Németországban lakik, három terméket vásárolt, összes eddigi költése 120 dollár.
output:
tenure: 18
location: DE
total_products: 3
total_spending: 120
Előnyök: eleve ilyen típusú adatok (pl. különféle törzsinformációk) számára használható igazán jól, metainformációkat is tartalmaz, tisztán átlátható, egységes szerkezetet eredményez.
Hátrány: kritikusan függ az oszlop-/ mezőnevek jó megválasztásától.
Ilyenkor teljes (irreleváns) mondatokat hagyunk el a szövegünkből.
Előny: technikailag könnyebb kivitelezni az egyes mondatok egészében történő mérlegelésével.
Hátrány: egész mondatok elhagyása lényeges részinformációkat is eltüntethet.
A fenti megoldás egy-egy szóra vagy több szavas kifejezésre történő alkalmazása, jellemzően ismétlések, töltelékszavak, túl hosszú frázisok mellőzésével.
Előny: a mondatalapú szűréssel szemben pontosabban céloz, kevesebb hasznos információ tűnik el.
Hátrány: technikailag nehezebb az alkalmazása (nem mindig világos, meddig tart egy-egy kifejezés), a végeredmény olykor nyelvileg nehézkes lehet.
Némileg a fentiekkel logikailag ellentétes módon nem azt próbáljuk meghatározni, mi szükségtelen a célunk szempontjából, hanem azt, ami szükséges. Jellemzően értékesnek tartott mondatok, mondatrészek, bekezdések eredeti, tehát átalakítás-hozzáadás nélküli megőrzését jelenti.
Előnye: főleg RAG-rendszerek, vagy felhasználói direkt lekérdezések számára használható jól.
Hátrány: több, szétszórt részre bontott információegyüttes esetén nehézkes.
A fentitől eltérően az eredeti (hosszú) szöveg rövidebb, tömörebb átfogalmazását jelenti (azaz az NLP területről régebb óta ismert szövegösszegzésról van szó).
Előny: jelentős rövidülést eredményezhet úgy, hogy a szöveg eredeti értelme, olvashatósága nem sérül.
Hátrány: az eredeti szöveg jelentősen átfogalmazódhat, eredeti kifejezések, szavak szinonimára cserélődhetnek.
Természetesen a fenti lépéseket kombinálhatjuk is: legkézenfekvőbb megközelítés, amikor a nagyobb egységek kiszűrésétől haladunk a rövidebb kifejezések, szavak irányába, végül pedig még tömörítést is alkalmazunk.
Előnye: nagyobb kontrollt biztosít, biztonságosabb, mint egy körben eltávolítani valamennyi irrelevánsnak tartott részt.
Hátránya: komplexebb, több lépést igényel.
Míg a fenti megközelítések elsősorban emberi olvasásra alkalmas, koherens végeredmények kívánalmával működnek, ez a módszer a hosszú inputot rövid, szemantikusan beágyazott numerikus vektorokká alakítja át.
Előnye: jelentős tömörítést eredményez, natív módon alkalmas a legtöbb modellalapú munkához.
Hátránya: emberi értelmezése, debuggolása problémás.
Végül néhány szó arról, hogyan lehet kiértékelni az eredményt, tekintet nélkül arra, melyik módszerrel dolgoztunk. A legkézenfekvőbb metrikán – a megtakarított tokenek számán – túl lehetséges további szempontok: