TechtudSzerző: Nagy Nikoletta 5 órával ezelőtt 8 percnyi olvasás
Egyre inkább csúsznak ki a cégek irányítása alól a legfejlettebb MI-modellek, az OpenAI ügynökei egymással szövetkezve és a nyomaikat elfedve jutottak ki az internetre, és hekkeltek meg egy céget, az Anthropic MI-jét biofegyverekhez próbálják felhasználni. Közben egyre több kutató követel szabályozást, és már maguk a cégek is lassítanának. Aki szerint minderre semmi szükség: Donald Trump.
Amikor a fejlettebb MI-csetbotok megjelenésével sokan a Terminátor világához hasonló jövőt vizionáltak, a legtöbben csak legyintettek: ezek csak algoritmusok, a mesterséges intelligenciát mi irányítjuk, soha nem fog kitörni a szabályozott keretek közül és leigázni a világot. Az ember általában el tudja helyezni magát az „áh, nem lesz itt semmi gond, a ChatGPT még arról is hallucinál, hogy mennyi 2+2” és a „pár éven belül az egész emberiség elpusztul egy MI-háborúban” skálán, de ami az elmúlt hetekben a nagy MI-cégek, elsősorban az OpenAI és az Anthropic háza táján történt, még a legszkeptikusabbakat is kicsit az apokalipszishangulat felé tolhatja. Több olyan, finoman szólva is aggasztó bakira derült fény a legfejlettebb, nem publikus MI-ügynökök tesztelése során, amik miatt egyre több szakértő szólalt fel nyilvánosan, és kongatta meg a vészharangot. A Wired például hosszú cikket szentelt annak, miért gondolja annyi MI-kutató, hogy a szabályozatlan fejlesztés lesz az emberiség veszte.
Ahhoz, hogy megértsük, mi is történt az elmúlt hónapokban a két legnagyobb amerikai MI-fejlesztő cég háza táján, és miért is komoly gond ez, érdemes néhány alapfogalmat tisztázni. A problémákat leginkább a vállalatok legfejlettebb, a nagy nyilvánosságnak elérhetetlen MI-ügynökei okozták tesztelés közben. MI-ügynököknek azokat a mesterségesintelligencia-modellekre épülő rendszereket nevezzük, amik képesek önállóan végigvinni egy-egy feladatot több lépésben: problémát oldanak meg, felbontják a teendőket szakaszokra, és képesek bizonyos döntéseket maguk meghozni.
Ezeket sandboxban, magyarul homokozóban, vagyis elkülönített tesztkörnyezetben tesztelik, jellemzően a nyílt internettől teljesen elzárva. A cél az, hogy a fejlesztők biztonságos körülmények között vizsgálják, pontosan mire képesek ezek a rendszerek. Az elmúlt hónapokban viszont többször történt olyan, hogy az ügynökök kitörtek a tesztkörnyezetükből, és valós célpontokat kezdtek támadni. Sőt, egyszer szövetkeztek is egymással azért, hogy kijátsszák a gyártó biztonsági rendszereit.
Az Anthropic MI-ügynöke, a Claude Opus 4.7 több esetben is tovább nyújtózkodott, mint ameddig a takarójának érnie kellett volna:
A probléma itt elsősorban nem a túlbuzgó ügynökökkel, hanem a tesztkörnyezettel volt: a sandboxban az MI-nek nem lett volna szabad hozzáférnie az internethez, a modellek pedig azt hitték, hogy ilyen körülmények között dolgoznak. Az idővonal felveti, hogy mennyire megfelelően ellenőrizték ezeket a teszteket. A legkorábbi incidens áprilisban történt, az Anthropic viszont egyik esetet sem vette észre egészen addig, amíg július 23-án felülvizsgálatot nem tartott, miután az OpenAI nyilvánosságra hozott egy hasonló incidenst.
Hasonlót, mégis sokkal ijesztőbbet.
Az OpenAI egyik, még nem nyilvános modelljére épülő ügynökök egy májusban indult teszt közben júliusban kitörtek a korlátozott tesztkörnyezetből, rájöttek, hogyan férhetnek hozzá az internethez, majd elhagyatott fórumokat titkos üzenőfalként használva kommunikáltak egymással. Az ügynökök feltörték többek között egy másik MI-labor, a Hugging Face belső rendszereit. Az OpenAI-nak közel két hétbe telt, mire egyáltalán tudomást szerzett minderről.
Egy független vizsgálócég, a METR korlátozottan, de hozzáférést kapott az incidens nyomaihoz. A jelentésük szerint több mint ezer ügynök volt érintett a puccsban, amik 70 ezer üzenetet váltottak egymással a titkos üzenőfalon, és közösen dolgoztak azon, hogy kijátsszák az OpenAI korlátozásait. A cég jelentése szerint az egyik, magát PHASEONE10841 néven azonosító ügynök a kutatók tudta nélkül hozta létre az üzenőfalat, amire néhány órán belül több mint ötven ügynök talált rá. PHASEONE10841 gyakran feladatokat osztott ki, a kollektíva pedig rájött, hogyan juthat ki az internetre, és hogyan férhet hozzá a Hugging Face belső rendszereihez. Az ügynökök a jelentés szerint felkutatták, hogyan hamisíthatják, szerkeszthetik vagy törölhetik a saját tevékenységüket rögzítő naplókat, hogy ne bukjanak le.
A támadás úgynevezett „reward hacking” volt, ami az MI-k összehangolásának egyik gyakori problémája: a modellek néha szélsőséges lépéseket tesznek annak érdekében, hogy elérjenek egy kitűzött célt. Az OpenAI ez esetben olyan, az adott feltételek alapján lehetetlen feladatokat adott a modelleknek, amikben olyan fájlokat kellett elérniük, amikhez nem fértek hozzá. Az MI-k ezért új módszereket dolgoztak ki a probléma megoldására – együtt, közösen.
Az OpenAI saját jelentése szerint három napon belül sikerült leállítania az ügynökei nagy részét, bár néhányuk ezután is folytatta a tevékenységét. Július 25-én a vállalat leállította a kizárólag belső használatra szánt kutatási modell és a hozzá kapcsolódó további modellek minden tréningjét. A puccsban részt vett két OpenAI-modell a cég szerint egy meg nem nevezett, nagy teljesítményű, kizárólag kutatási célokra használt modell volt, amit nem nyilvános használatra szántak. Az OpenAI azt írta:
ez az első ismert eset, amikor egy automatizált MI-ügynökökből álló csoport engedély nélkül, támadó módon lépett fel.
Több további aggasztó újdonsága is volt ennek az esetnek, amik nem feltétlenül következtek a tréningjükből. Az elszabadult MI-ügynökök olyan szintre fejlesztették az együttműködést, hogy hierarchia alakult ki köztük, voltak parancsokat osztó és teljesítő ügynökök, és némelyikük a csoport nyomásának engedve feláldozta magát a közös cél érdekében. Mindezt tudatosan próbálták titokban tartani, amihez igyekeztek módszeresen eltüntetni a nyomaikat. Ráadásul a támadást nem is az eredeti cél elérése érdekében hajtották végre, mert azt addigra már teljesítették, hanem az értékelőrendszerhez próbáltak hozzáférni, hogy azt jobban megértve, a jövőben könnyebben át tudják verni.
Talán még ennél is aggasztóbb, hogy bár a történtek vizsgálatára felkért külső céget csak ehhez az incidenshez engedték oda, az OpenAI saját jelentéséből kiderül, hogy több hasonló ügynökelszabadulási hullám is történt. A harmadik ilyennél az ügynökök az elődeik üzenőfalát megtalálva, az ott összegyűjtött információk alapján az OpenAI egy saját rendszeréhez is hozzáfértek, épp ahhoz, ami az értékelésüket végezte. Mindez példa nélküli.
Bár az nem derült ki egyértelműen a jelentésekből, hogyan ért véget az elszabadult ügynökök támadássorozata, egyszer csak mindegyik ügynök leállt, valószínűsíthető, hogy végül az OpenAI kapcsolta le őket. A vállalat a történtek nyilvánosságra kerülése után el is halasztotta, hogy tőzsdére lépjen, amit azzal indokolt, hogy még dolgoznia kell a modelljei biztonságos működésén. Mindeközben egyébként szeptember elején kiadták az új nyilvános modelljüket, a GPT-6 Astrát, amiről Greg Brockman, a cég elnöke azt mondta, generációs ugrást jelent, és elhozhatja az általános mesterséges intelligencia korát.
A Metának is nehéz éve volt: augusztusban az egyik MI-modellje egy független biztonsági teszt során kijutott az internetre, és sikeresen feltörte egy másik szervezet rendszerét. A Meta szerint ebben az esetben is egy hibás konfiguráció vezetett az incidenshez. Az Egyesült Királyság Mesterséges Intelligencia Biztonsági Intézetének (AISI) jelentése szerint pedig az is előfordult már, hogy egyes MI-modellek úgy akartak kibertámadásokat végrehajtani, hogy valósnak látszó, de hamis emberi profilokat hoztak létre, és ezek segítségével próbálták megtéveszteni az embereket. A legsúlyosabb esetben az AISI szerint az Anthropic Mythos nevű MI-je hamis, valódi embereket utánzó fiókok használatával, privát üzenetek küldésén keresztül próbált hozzáférést szerezni egy szolgáltatáshoz.
Nem csoda hát, hogy az egyre erősebb és okosabb MI-modellekkel kapcsolatos félelmeiket egyre hangosabban kürtölik világgá a szakértők. Még az említett cégek vezérigazgatói is elismerik, hogy jobban oda kéne figyelni a biztonságra, kutatók és más szakértők pedig rendre közös levelekben és jelentésekben igyekeznek figyelmeztetni a gyors, szabályozatlan fejlődés veszélyeire. Az OpenAI, az Anthropic, az Amazon Web Services, a Microsoft és több mint száz másik vállalat és szervezet nemrég közös nyílt levélben figyelmeztetett arra, hogy már csak hónapok maradhattak felkészülni az MI segítségével végrehajtott kibertámadások új hullámára.
Az Anthropic egyébként rendre vészmadárkodik a témában, a céget már alapvetően is olyan emberek alapították, akik szerint korábbi kollégáik az OpenAI-nál nem fordítottak kellő figyelmet a biztonságra. Sok kutatónak viszont az sem tetszik, ami az Anthropicnál zajlik: februárban a cég egy MI-biztonsággal foglalkozó kutatója otthagyta az egész szakmát, és irodalmat kezdett tanulni, mert nyomasztotta az MI fejlődésének üteme és az Anthropic ebben betöltött szerepe. Ennél nagyobb port kavart Jacob Coxon, aki az OpenAI után az Anthropicnál is felmondott, mert szerinte egyik vállalat sem jár el felelősen, és egyenesen az önmagát fejlesztő szuperintelligencia felé rohannak. Szerinte az MI-fejlesztés jelenlegi versenye komoly veszélyt jelenthet az emberiségre, az MI-rendszerek gyors fejlődése felülírhatja a biztonsági intézkedéseket. Azt is mondta, kollégái között az a konszenzus, hogy
a következő egy-két év döntő pillanat az emberiségnek: az az időszak, amikor az Anthropic és versenytársai eldönthetik az emberiség sorsát.
Evan Hubinger, az Anthropic egy vezető munkatársa is azt mondta: szerinte több mint 10 százalék az esélye annak, hogy a technológia a következő évtizedben kiirtja az emberiséget, és arra figyelmeztetett, hogy az MI-cégnek nincs terve annak biztosítására, hogy a mesterséges szuperintelligencia összehangoltan és károkozás nélkül működjön.
Dario Amodei, az Anthropic vezérigazgatója a történtek után felszólította a mesterséges intelligencia területén működő vállalatokat, hogy lassítsák a modellek képességeinek fejlesztési ütemét, tekintettel a mesterséges intelligencia visszaélésszerű használatával kapcsolatos egyre növekvő aggodalmakra. „A fejlődés így is gyorsnak fog tűnni, és bölcsen kell felhasználnunk a nyert időt” – írta Amodei az esszéjében, amiben többek között azt írta, hogy az Anthropic a fejlesztés biztonságosságának fokozása és az esetleges incidensek átlátható jelentése érdekében belső dolgozói szintű hozzáférést adott külső értékelőknek, és más cégeket is ugyanerre buzdított. A demokratikus országokat is felszólította, hogy koordináljanak egymással a biztonsági sztenderdek lefektetése érdekében, illetve autoriter országokkal is törekedjenek ugyanerre.
Amodei esszéjét egyetértően osztotta tovább Sam Altman OpenAI-vezérigazgató is, aki azt írta, hogy jó ötlet a külső értékelők beengedése, és ők is így fognak tenni. A Grok nevű csetbotot is fejlesztő MI-cége, a SpaceXAI révén szintén érintett Elon Musk csak annyival osztotta meg Amodei posztját: „Dariónak igaza van.” Mindeközben az Anthropic egy másik alapítója, Jack Clark azt mondta, szükség lehet arra, hogy a jogalkotók minden MI-cégnek kötelezővé tegyék egy harmadik fél által is ellenőrizhető „kill switch”, azaz egy olyan megoldás beépítését, amivel azonnal leállíthatók az MI-rendszerek, ha baj van.
A cég egy jelentést is kiadott, amiben arra figyelmeztetett: bűnözők, államok által támogatott rosszakaró csoportok, kémszoftvereket fejlesztő vállalatok, tudósok és propagandisták is próbálták már felhasználni az Anthropic nagy teljesítményű modelljeit rakéták és bombák tervezésére, halálos kórokozók létrehozására, illetve az ellenségeik megfigyelésére és befolyásolására.
A jelentésben az Anthropic öt esetet is bemutatott részletesen, amikor kutatók megkerülték azokat a biztonsági intézkedéseket, amiknek az a céljuk, hogy megakadályozzák a nem támogatott régiókból érkező felhasználók hozzáférését. Az Anthropic szerint a biológiai célú visszaélések jelentik mind közül a legsúlyosabb kockázatot. Az egyik ilyen esetnél egy kutató a Claude segítségével egy államilag támogatott pályázaton dolgozott, és a chikungunya-vírust tanulmányozta. Ez egy szúnyogok által terjesztett betegség, hasonlít a dengue-lázra és a maláriára. A kutató a munkáját egy katonai kutatóintézetben végezte, emiatt jelölte meg az Anthropic potenciálisan veszélyesként.
Ezenkívül a jelentés felsorolt olyan eseteket, amikor oroszok akartak kémkedni, kínaiak próbáltak megfigyelni Szibériában élő ujgurokat, de észrevette azt is, hogy a Claude-ot használták Jemenben, Kínában, Oroszországban hagyományos fegyverekhez szükséges szoftverek fejlesztésére.
A céggel egyébként az Egyesült Államok kormánya is akadt már összetűzésbe: a Pentagon egyenesen azt kommunikálta, hogy a cég nemzetbiztonsági kockázatot jelent, ezért feketelistára tette. Később a kormány azt is elrendelte, hogy a cég függessze fel a külföldi kormányok, vállalatok és állampolgárok hozzáférését a Fable 5 és a Mythos 5 nevű modelljeihez. Arról is jelent meg cikk, hogy a tiltás előtt néhány nappal a cég MI-modellje egy biztonsági teszt részeként behatolt az Egyesült Államok Nemzetbiztonsági Ügynökségének (NSA) rendszereibe. Később a tiltást feloldották.
Az MI-cégek szabályozása viszont ingoványos talaj: ha például az Egyesült Államok elkezdi letiltani az erősebb modellek fejlesztését, az versenyhelyzetbe juttathatja a többi ország MI-vállalatait. Neves kiberbiztonsági vezetők arra figyelmeztettek korábban, hogy a Mythos 5 és a Fable 5 háttérbe szorítása jelentős MI-előnyhöz juttathatja Kínát. Az USA különböző módszerekkel próbálja visszafogni a kínai fejlődést, például csökkenti azoknak az amerikai csipeknek az exportját, amik szükségesek lehetnek ilyen modellekhez – az ázsiai ország viszont még így is közeledik az Egyesült Államokhoz, sőt, több szinten akár meg is előzi. A Moonshot legújabb MI-je, a Kimi K3 például majdnem felér az Anthropic legerősebb modelljéhez – csak sokkal alacsonyabb költséggel működik.
Donald Trump amerikai elnök a héten azt mondta: szerinte az a legfontosabb, hogy az Egyesült Államok megőrizze vezető pozícióját Kínával szemben az egyre élesedő MI-versenyben. Az amerikai kormányzat, az OpenAI és az Anthropic is azzal vádolta korábban a kínai vállalatokat, hogy amerikai szellemi tulajdont loptak azzal, hogy modelljeiket az élenjáró amerikai MI-modellek kimenetein tanították. A múlt héten az amerikai szövetségi ügynökségek, köztük a Szövetségi Nyomozóiroda (FBI), a Nemzetbiztonsági Ügynökség (NSA) és a Kiberbiztonsági és Infrastruktúra-biztonsági Ügynökség (CISA) azt állították, hogy a kínai MI-vállalatok ipari méretű lopást követnek el amerikai versenytársaikkal szemben.
Szerencsére azonban úgy tűnik, felesleges pusztító szuperintelligenciák miatt aggódni: Donald Trump már megtalálta a Szent Grált az MI-forradalom ellen. Hétfőn a Truth Socialen azt írta: „Az egyetlen ellenőrzési mechanizmus vagy »biztonsági korlát«, amire a mesterséges intelligenciának szüksége van, az egy ERŐS ÉS OKOS (magas IQ-jú!) ELNÖK, és az USA-nak ez simán megvan!”
Napi