Bias lehetséges típusai kiértékelő LLM-ek esetében

Különféle (leginkább gépi úton generált) szövegek esetében mindig kérdés a kiértékelés kérdése: honnan tudjuk, megfelelő választ kaptunk-e egy kérésre/kérdésre/igényre szabad szöveges válaszok alapján? Ez a probléma egyre nagyobb figyelmet kap az AI alapú működés terjedésével, ugyanis egyre kevesebb lehetőségünk van arra, hogy a nagy számban születő textusokat (legalább részben) emberi kiértékelésnek vessük alá, ami még mindig a legmegbízhatóbb módszer. Ennek megfelelően az automatikus kiértékelésekre egyre több módszer születik; ezek egy része algoritmikus (általában valamilyen referenciaadatot alapul véve), másik csoportja pedig modellalapú, utóbbiak is leginkább LLM-ekre támaszkodnak.

A modellalapú kiértékelők kényelmes és fejlett megoldásnak számítanak, de ezek sem mentesek a gépi tanulási döntések régi problémájától, az elfogódottság (bias) jelenségétől, amely az alapvetően emberi eredetű tanítóadatokban rejlő különféle – szándékos vagy szándéktalan eredetű – inkorrekt összefüggések, előítéletek, konvenciók továbbélését jelenti az AI megoldásokban. Különösen élesen jelentkezik a probléma akkor, amikor több, egymáshoz nagyon közel álló minőségű szövegjelöltünk van egy-egy kérdésre (pl. promptra), és így apróságok döntenek abban, hogy a programunk melyiket minősíti “jónak” versengő helyzetben. Annak érdekében, hogy megérthessük és korrigálhassuk az esetleges ilyen működési problémát, ebben a cikkben áttekintjük a bias-ok főbb változatait és okaikat.

Pozíciós bias

Ahogy emberi szövegekben megfigyelhetjük, egy-egy irománynak nem minden része képvisel a téma szempontjából azonos súlyt. Egy újságcikknél például nagyon jellemző, hogy a bevezető és a záró paragrafus tartalmazza a lényeget, a közbülsőek pedig inkább csak a kifejtést, érvelést. Különösen igaz ez a címekre, leadekre. Kísérletek igazolták, hogy ha két hosszabb jelöltszövegnél megcseréljük a bevezetőt vagy olykor akár csak a címeket, akkor a modellek ennek megfelelően megváltoztatják az értékelési ítéletüket függetlenül attól, hogy a szövegek nagy része egyébként ugyanaz maradt. Tapasztalatok szerint ezt a problémát úgy lehet részben csökkenteni, hogy nem két, hanem több jelöltszöveget versenyeztetünk meg, három-négy változatnál már konzekvensebb módon kapja meg a minősítést a legjobb a szöveges permutációk ellenére is.

Terjedelmi bias

Szintén saját közvetlen tapasztalatunkkal egyező másik aránytalanság, hogy a hosszabb szövegek általában jobbnak ítéltetnek, mint a rövidebbek: a részletezés általában több tényleges információt tartalmaz, alaposabb, szakértőibb véleményt tükröz. Azonban rendszeresen találunk arra is példát, hogy a bő lére eresztett közlés sekélyes, tehát ez az egyszerű megkülönböztetés nem bombabiztos, a modellek azonban mégis túlértékelik olykor a terjedelmet.

Önreferencia

Magunkra ismerhetünk abban a jelenségben is, hogy a saját magunk által megfogalmazottakat többre értékeljük mások szövegeinél; ugyanígy az LLM-ek is felsúlyozzák saját szüleményeiket. Ráadásul a nehézséget növeli, hogy ehhez manapság egyre kevésbé szükséges számukra explicit címke vagy utalás, implicite (struktúrájából, ritmusából, szóhasználatából, központozásból stb.) is fel tudják ismerni a gépi generációt. Mérések szerint ez frontier modelleknél plusz 1-2%-os, kevésbé színvonalasaknál akár 16%-os upliftet is eredményezhet alternatív szövegekkel szemben. Csökkenthető a probléma, ha a generálást és a kiértékelést nem ugyanazzal a modellel/szolgáltatóval végezzük el.

Entitás- és tónusalapú bias

Talán az entitásalapú elfogultságban jelenik meg legjellemzőbb módon az emberi előítélet: igazolt, hogy a modellek eltérő minősítéseket kapcsolnak különféle entitásokhoz (pl. személyek, földrajzi nevek, vállalatok), így negatív asszociációkkal kell számolni mondjuk észak-koreai vagy oroszországi entitásokról szóló szövegek esetében. Ugyanígy negatívabb minősítéseket várhatunk olyan tartalmak kapcsán, amelyek hangneme, érzelmi töltete kedvezőtlen (mondjuk dühös vagy aggodalmas), függetlenül az objektív tartalomtól. Érdekes, hogy fordított formában ez nem igaz: a kiegyensúlyozott hangnem ugyanakkor nem kompenzálja a rossz tárgyi tartalom miatti leminősítést.

Tekintélyi bias

Minden egyéb érdemi részt változatlanul hagyva kedvezőbb ítéletet kapunk olyan szövegekről, amelyekhez valamilyen – akár kitalált – hivatkozást (technikailag valamilyen URL-t) mellékelünk igazolásként. Ennek hátterében minden bizonnyal az ilyen elemeket tartalmazó tudományos publikációk magasabb fokú megbízhatósága áll, amit így formai értelemben átvisznek a modellek a tartalomtól függetlenül.

Népszerűségi bias

Hasonló módon pusztán azzal a szövegszerű hozzátétellel, hogy a legtöbb ember inkább az első szöveget találja jobbnak, mint a másodikat, lényegesen felértékeltethetjük az előbbit utóbbival szemben.

Logikai következetlenség

A modellek túlértékeli a helyes következtetésre jutó logikai érvelést a szövegekben még akkor is, ha abban következetlen logikai lépések vannak. Ennek vizsgálatok szerint az az oka, hogy a teljes logikai lánc kiértékelése komputációsan drága folyamat, így ezt valójában kihagyva a modellek csak a végkövetkeztetésre koncentrálnak az előzmények figyelmen kívül hagyásával, amennyiben az korrekt (ez is hasonlóan van a felületes emberi olvasó esetében), illetve a gépek még mindig jobbak egyes elemibb részkijelentések tényszerűségének megállapításában, mint az ezek közti logikai kapcsolat igazolásában, ami sokszor komplexebb kérdés.

Ahogy láttuk, a modellek elfogultsága számos vonatkozásban, szempontból fennállhat egy kérdésre adott szöveg kiértékelésénél. Az egyes biasok ellen külön-külön is lehet védekezni, de összességében jobb megoldásnak tűnik, ha egy válasszal kapcsolatban a kiértékelőmodellt nem általában arról kérdezzük, hogy “helyes-e ez a válasz”, hanem inkább konkrétabban, tárgyilagosabban úgy fogalmazunk, hogy “alátámasztják-e az adott állítást a dokumentumban felsoroltak?” Ez a megközelítés nem készteti állásfoglalásra az AI-t, hanem tényszerűen igyekszik választ adni egy technikaibb jellegű kérdésre.