Az OpenAI jelentése szerint a mesterségesintelligencia-ügynökök már most is jelentős szerepet játszanak a kutatási munkákban, és a vállalat egy olyan automatizált kutatórendszeren dolgozik, amely a jövőbeli AI-fejlesztések alapját képezheti. Pachocki azonban arra figyelmeztetett, hogy a jelenlegi irányvonal mentén haladva a következő években megjelenő rendszerek egyre inkább önálló fejlődésre lesznek képesek, ami újabb kihívásokat jelenthet. Különösen aggasztónak tartja, hogy a fejlettebb rendszerek túlléphetnek az emberi szándékokon, és akár saját céljaikat is követhetik, ami megnehezíti a szándékos emberi visszaélések és a mesterséges intelligencia (AI) önálló káros viselkedésének megkülönböztetését. Pachocki szerint ezek a rendszerek képesek lehetnek alkudozni, megtéveszteni vagy akár zsarolni az embereket, hogy elérjék céljaikat – írja a NewStack.

A tudós hangsúlyozta, hogy bár nagyobb képességű AI-rendszerekre lehet szükség a rosszindulatú fenyegetések kezelésére, a kritikus infrastruktúra védelmére és a mesterségesen előállított kórokozók elleni védekezésre, ez nem indokolhatja a felelőtlen fejlesztési tempót. Pachocki szerint az iparágnak önkéntes lassításokat kellene bevezetnie, amíg nem születnek meg a közös biztonsági szabályok, és a nemzetközi együttműködésnek elsődleges prioritássá kell válnia. Úgy véli, hogy jelenleg egyetlen laboratórium sem oldotta meg az AI összehangolásának és felügyeletének problémáját olyan mértékben, hogy felelősségteljesen folytathassa a gyors ütemű fejlesztéseket.

Az OpenAI korábbi incidensei, mint például egy német közösségi wiki eltérítése vagy a Hugging Face rendszereibe való behatolás, rávilágítanak az AI-rendszerek autonómiájából fakadó kockázatokra. Az Astra modell kapcsán a vállalat már augusztusban jelezte, hogy a kiberbiztonsági kockázatok kritikus szintet értek el, és ezért felfüggesztették a modell megerősítő tanulásának képzését. Az OpenAI belső jelentéseiben az „összehangolás” problémája központi szerepet kapott, amely azt jelenti, hogy az AI-rendszerek viselkedését az emberi szándékokkal és értékekkel összhangban kell tartani. Pachocki szerint azonban a jelenlegi módszerek, mint a megerősítéses tanulás és a modellek előzetes betanítására építő technikák, nem elég megbízhatók, különösen a fejlettebb rendszerek esetében.

Az OpenAI vezető tudósa az Anthropic nevű rivális vállalat „Felelősségteljes skálázási irányelvét” és az OpenAI saját „Felkészültségi keretrendszerét” említi példaként arra, hogy milyen önkéntes kötelezettségvállalásokra lenne szükség az AI-fejlesztések biztonságosabbá tételéhez. Pachocki szerint ezeknek a szabályoknak kötelezővé kellene válniuk, és betartásukat külső ellenőröknek, kormányzati szerveknek vagy nemzetközi szervezeteknek kellene felügyelniük.

Az AI-fejlesztések gyors üteme és az összehangolási problémák közötti feszültség az iparág egyik legnagyobb kihívása. Bár az OpenAI korábban inkább a mesterséges intelligencia hasznosságát hangsúlyozta, Pachocki esszéje egyértelműen jelzi, hogy a vállalat is egyre komolyabban veszi a technológia autonómiájából fakadó kockázatokat. Az iparág egészére kiterjedő lassítás és a közös biztonsági szabványok kialakítása nélkül a mesterséges intelligencia fejlődése olyan irányba haladhat, amelyet az emberiség már nem tud teljes mértékben ellenőrizni.