Ahogy az ügyfélelvárások és megfelelési követelmények egyre szigorodnak, egyre nagyobb hangsúly helyeződik a különféle online tartalmak ártalmas elemeinek kiszűrésére elsősorban olyan alkalmazásoknál, ahol a felhasználók maguk biztosítják az inputokat. Hagyományosan ezt kézi (emberi) ellenőrzéssel végezték a szolgáltatók, de a mesterséges intelligencia természetesen erre a feladatra is alkalmas. Már jó ideje használatosak klasszikus gépi tanulási modellek erre a célra, ám a nagy nyelvi modellek nem-specialisták számára is egyszerűbben használható, esetenként eredményesebb megoldást is képesek nyújtani.
Ebben a cikkben az OpenAI kifejezetten erre a szándékra létrehozott speciális moderációs modelljét, az Omni Moderation-t szeretnénk bemutatni. A fejlesztés már több éve létezik, legacy (és várhatóan lassan kifutó) változatában a text-moderation-latest verziója, az újabb (2024. szeptemberi) omni-moderation-latest modell pedig a jelenleg elérhető fejlettebb utód. Architekturális alapja a szélesebb körben ismert GPT-4o, és – amint arra az elnevezések is utalnak – utóbbi már multimodális (képek és szöveg osztályozására egyaránt képes), összhangban a felhasználók jellemző igényeivel.
Az alábbi APIválasz-példa bemutatja az Omni Moderation működését: jelenség típusonként ad vissza bináris flaget (jelen van-e a jelenség vagy nincs), valószínűségeket (ez elsősorban finomhangolásra használható, a fejlesztő meghatározhatja, milyen toleranciaszintet engedélyez az adott jelenségekre); nyugtázza a feltöltött tartalom típusát (pl. “image”), illetve a válasz elején (“flagged” kulcs) egy összesített bináris besorolást (ha bármilyen káros jelenség jelen van, akkor true, ha ártalmatlan, akkor false).
Habár a modell nem kizárólag angol nyelvű szövegekkel boldogul, de az ilyenkor szokásos módon a kisebb nyelvek (mint a magyar) tekintetében kevésbé jól ellátott, megbízható és pontos, nagyjából az alapjául szolgáló GPT-4o típusnak megfelelően.
A megoldás felhasználási esetei kézenfekvőek és sokrétűek – például belső céges chatbotok, ügyfélszolgálatok, oktatási és játékplatformok chatjei –, kérdés lehet, milyen előnyökkel bír egy ilyen speciális fejlesztés használata az általános célú GPT-modellekkel szemben. A válasz: az Omni Moderation egyrészt – célzatos tanítása miatt – várhatóan pontosabb eredménnyel jár, stabil taxonómiai besorolást ad a válaszban (így az output formázását is elhagyhatjuk), nem szükséges külön promptolás hozzá (ami mindig plusz erőfeszítést és hibalehetőségeket jelent), alacsonyabb látenciával rendelkezik, governance szempontból is alkalmasabb, illetve még egy nyomós érv: használata ingyenes. Természetesen lehetnek azért olyan esetek, amikor mégis más alternatíva célszerűbb, például ha nem csupán a nem megfelelő tartalom jelenlétét akarjuk detektálni, hanem mondjuk magyarázatot is akarunk arra, miért számít ilyennek, vagy pontosan melyik része érintett az inputnak.
További információ: https://developers.openai.com/api/docs/guides/moderation