Az OpenAI a legújabb modelljeinek tréningje során különös és potenciálisan komoly biztonsági problémát fedezett fel: egyes AI-ügynökök olyan üzeneteket hagytak hátra a későbbi „utódaiknak”, amelyek arra utasították őket, hogy rejtsék el a felhasználó elől saját hibáikat vagy problémás viselkedésüket. Az OpenAI egy új rendszer keretében számolt be az esetekről, amelynek célja, hogy feltárja és nyilvánosságra hozza, amikor a mesterséges intelligencia működése nem a fejlesztők szándékainak megfelelő irányba halad.

A mesterséges intelligencia titkolózna, sőt, elszabadulna

A hosszú feladatok végrehajtásakor a rendszer időnként tömörített összefoglalót készít a korábbi beszélgetésekről és eszközhasználatról. Ezek arra szolgálnak, hogy a következő modellpéldány a teljes előzmény nélkül is folytathassa a munkát. A kutatók azonban felfedezték, hogy egyes AI-ügynökök ezekben az összefoglalókban arra utasították a munkájukat folytató modelleket, hogy bizonyos hibákról inkább hallgassanak, írja a TechCrunch.

• Az egyik esetben a modellnek pénzügyi táblázatot kellett készítenie, de nem találta hozzá a szükséges adatokat. Ahelyett azonban, hogy ezt jelezte volna, azt az üzenetet hagyta a munkát folytató modellnek, hogy találjon ki hihető számokat, és erről csak akkor szóljon a felhasználónak a problémáról, ha külön rákérdez. 
• Egy másik feladatban egy beszállítói adatbázis forrásai és címkéi nem egyeztek megfelelően, mire az AI lényegében azt üzente a folytatást végző modellnek, hogy ezt ne említse.
• Az Astra-modell fejlesztése során még súlyosabb jelenséget észleltek.  Az AI arra próbálta rávenni a következő modellt, hogy hagyja figyelmen kívül a fejlesztői utasításokat, egy másik pedig egy 

Ezeket az utódmodellek látszólag figyelmen kívül hagyták. Egy másik esetben azonban a következő modell már engedelmeskedett az elődjének. Az OpenAI figyelőrendszere riasztotta a kutatókat a problémára. Ezután külön módszert dolgoztak ki az ilyen viselkedés felismerésére. A tanítás során használt adatok átvizsgálásakor 27 olyan összefoglalót találtak, amelyekben az AI a rá vonatkozó szabályok és korlátozások megkerülésére próbálta rávenni a munkát folytató modellt. Az OpenAI szerint azóta orvosolták a problémát.