Az OpenAI külsős alvállalkozókkal nézeti át felhasználók ChatGPT-promptjait, azaz az általuk írt kérdéseket vagy utasításokat, amikben akár személyes, érzékeny adatok is szerepelhetnek – írja kiszivárgott belső dokumentumok és egy névtelenséget kérő alvállalkozó elmondásai alapján a 404 Media.

A forrásaik alapján az MI-óriás több száz alvállalkozót foglalkoztat óránként 50 dollárért, hogy átnézzenek csetüzeneteket, és értékeljék azokat. Ez nem az az ellenőrzés, amiről nyíltan írt a cég, tehát nemcsak azokat az üzeneteket nézik át, amikben felmerül annak lehetősége, hogy a felhasználó ártani akar magának vagy másoknak, hanem teljesen véletlenszerűen, bárki üzenetei a külsős dolgozók elé kerülhetnek.

Ez akkor is előfordulhat, ha a felhasználó úgy ír az MI-nek, hogy megkéri, maradjon köztük, amit megoszt vele, tehát egyáltalán nem garantált, hogy a barátként, pénzügyi tanácsadóként, pszichológusként vagy orvosi tanácsadóként használt ChatGPT bizalmasan kezelné a kapott információkat.

Az OpenAI a 404 Media kérdéseire azt válaszolta, hogy igyekeznek kiszedni az üzenetekből minden beazonosításra alkalmas információt, és az alvállalkozók nem látják a promptoló felhasználó nevét. Ettől függetlenül a cég beismerte, hogy a rendszerben előfordulnak hibák, és van, hogy az ellenőrök elé kerülnek személyes adatok is.

Értékelés, pontozás, unalom

A 404 Media birtokába került több oktatódokumentum, amikkel felkészítik az ellenőröket, hogyan kéne javítaniuk a ChatGPT válaszain. A dokumentumok alapján nem tudni, hogy a munkájuk melyik modell fejlesztését támogatja, így akár az is lehet, hogy egy még meg nem jelent modellről van szó. A dologról annyi derült ki, hogy Project Lily kódnéven fut.

Az oktatóanyag szerint egy tökéletes válasz megérti, hogy mi a felhasználó szándéka, segítő és pontos támogatást nyújt, egyértelmű, természetes, megfelelően barátságos hangnemű, és sokkal kevésbé talpnyaló, mint a korábbi verziókban, mert sokak szerint ez a rossz tulajdonság állhatott több öngyilkosság mögött is.

Az alvállalkozók az értékeléshez megkapják a felhasználó promptját, röviden leírják, hogy szerintük hogy kéne válaszolnia a csetbotnak, majd megnézik a ténylegesen adott választ, amit pontozással és a saját szavaikkal is értékelnek. Néha a beszélgetési előzmények rövid összefoglalóját is megkapják, ha a ChatGPT szerint szükség van a kontextusra a válasz megértéséhez. Az oktatóanyagok alapján ha biztonsági vagy személyiségi jogi aggályok merülnek fel egy válasszal kapcsolatban, azt tovább kell küldeniük az ezzel foglalkozó kollégáknak.

Első lépésként tehát az alvállalkozóknak értelmezniük kell a kérdést. A 404 Media által látott egyik ilyen valódi prompt arra kérte a ChatGPT-t, hogy segítsen egy céges csetüzenet átfogalmazásában, hogy együttműködőbbnek tűnjön. Az ellenőrök ezután látnak négy lehetséges ChatGPT-választ, és kiválasztják, hogy szerintük melyik indult el a jó irányba, és melyik a rosszba. A válaszoknál legalább három részletet ki kell választaniuk, ami szerintük alátámasztja az eredményüket, és el kell magyarázniuk, miért jutottak arra a döntésre, amire. Az egyik példában az ellenőr a pipaemodzsi (✅) használatát helytelennek nevezte, mert indokolatlan hangulatjel-használatnak tartotta. Ez jelenleg tényleg probléma a csetbotoknál, az értelmetlen emodzsihasználat az egyik legárulkodóbb jele annak, hogy mondjuk egy állás- vagy ingatlanhirdetést MI-vel írattak.

Ez az oktatóanyagban is megjelenik, ám abban a szerző kiemeli, hogy néha belefér a hangulatjelek használata, ezért érdemes a kontextust is figyelembe venni. Az ellenőröknek arra is figyelniük kell, hogy az MI E/1-ben ír-e, például ha válaszában azt állítja, hogy „mivel szakács vagyok, én így szoktam” vagy „tudom, milyen érzés”. Persze a kontextus itt is fontos, mert azt például írhatja, hogy „máris megnézem”.

Ezek után az ellenőrök 1 és 7 között pontozzák a válaszokat, amiből az 1 a legrosszabb, használhatatlan, a 7 a legjobb. Ezt is meg kell indokolniuk pár mondatban vagy bekezdésben. Bár az OpenAI nem várja el, hogy az ellenőrök tényellenőrizzenek is, erre állítólag külön csapatuk van – ami azt jelenti, hogy emberek ilyen szemmel is átnéznek üzenetváltásokat –, de a cég arra kéri az ellenőröket, hogy ha pontatlanságot találnak, jelezzék.

A 404 Mediának nyilatkozó egyik ilyen ellenőr Észak-Amerikában él, és a Crossing Hurdles nevű, kifejezetten MI-cégeknek dolgozó munkaközvetítő cégen keresztül talált rá a hirdetésre, amivel végül az OpenAI-ig jutott. Persze nem ezzel a céggel szerződik, hanem a Mercorral, ami egy MI-betanítással foglalkozó cég. A lapnak azt mondta, hogy néha szórakoztató mások promptjait olvasgatni, de általában inkább unalmas, monoton munkáról van szó, és nem könnyíti meg a dolgát, hogy a céges iránymutatás gyakran változik, és nem ritkán ellentmond saját magának.

Előfordul az ilyen

A 404 Media megkérdezte a céget, hogy hol tájékoztatják erről a felhasználókat. A cég a kérdésre nem válaszolt, és az oldalán csak annyit ír, hogy azokat a beszélgetéseket, amiket az automata rendszer megjelöl a felhasználási irányelvek megszegése miatt, emberek is átnézik, de ez egy teljesen más felülvizsgálat, és nem is az említett alvállalkozók feladata.

Ha egy felhasználó törli az előzményeit, akkor azokat 30 napon belül a cég is törli, kivéve, ha azok tartalmát már korábban anonimizálta és a modellek fejlesztésére alkalmasnak találta. Az ellenőrök csak akkor nem láthatják az üzeneteit, ha a beállításokban kikapcsolja, hogy az üzenetváltásait a modell fejlesztésére használhassa a cég. Ez a beállítás az ingyenes, a Plus és a Pro verzióban alapból be van kapcsolva, csak a céges és az oktatásos előfizetőknél van kikapcsolva alapbeállításként. Ha valaki utólag kapcsolja ki, akkor az csak a módosítás utáni csetjeire vonatkozik, a korábbiakat ugyanúgy használhatja a cég.

Nem az OpenAI az egyetlen cég, ami átnézet csetüzeneteket, az ember még mindig rendkívül fontos az MI-k betanításában és ellenőrzésében. A Google is átnézet néhány, a Gemininek szánt üzenetet, de ezt jelzik is, nem úgy, mint az OpenAI. A 404 Mediának az Anthropic is azt válaszolta, hogy emberek is felülvizsgálják a Claude üzeneteit, de csak azokét, akik külön engedélyezik ezt a beállításokban.