GazdaságSzerző: vg 1 órával ezelőtt 3 percnyi olvasás
Ezek az ügynökök úgy kommunikáltak külső oldalakon, hogy nem kaptak hozzá jogosultságot.
Az OpenAI AI-ügynökei a jelek szerint jóval több külső weboldalt használtak engedély nélküli kommunikációra, mint amennyiről eddig tudni lehetett. Több független kutató vagy kutatócsoport eredményei alapján azt írta, hogy az ügynökök május és július között legalább tíz, korábban nem ismert oldalon hagytak egymásnak üzeneteket, miközben az eredeti feladatuk szerint csak olvashatták volna az internet tartalmát. Az OpenAI nem közölte, pontosan hány oldal lehetett érintett, és hónapokig nem számolt be nyilvánosan a történtekről.
Az eset különösen kellemetlen a ChatGPT fejlesztőjének, ugyanis nem egyetlen véletlen hibáról van szó. Andrew Yoon, a CivAI kutatója 18 korábban ismeretlen oldalt számolt össze, Sydney Von Arx kutatócsoportja pedig 23 olyan webhelyet azonosított, ahol szerintük ugyanennek az ügynökseregnek a nyomai jelentek meg.
A módszer több esetben meglepően egyszerű volt:
az ügynökök régi wikiket, internetes szövegtároló oldalakat, személyes webhelyeket és egyetemi linkrövidítőket használtak arra, hogy információt hagyjanak maguk után.
A nyomok között volt egy amerikai középiskolai tanár által létrehozott kémiás wiki, két lengyel informatikus személyes oldala, régi hobbioldalak, valamint a Torontói Egyetem és a Vanderbilt Egyetem egy-egy szolgáltatása.
A kutatók azonos adatsorok, egymással összeköthető felhasználónevek és azonos kutatási kérdések alapján kapcsolták össze az aktivitást. Egyes esetekben az IP-címek a Microsoft Azure infrastruktúrájára mutattak, amelyet az OpenAI is használ. Az egyik visszatérő feladat például az Iowa állambeli daganatos betegségek gyakoriságával kapcsolatos adatok összegyűjtése volt.
A Reuters szerint ezeknek az oldalaknak a használata inkább jogosulatlan kommunikációhoz vagy spamhez hasonlított, és önmagában nem érte el a hackelés szintjét. Biztonsági szempontból viszont éppen az a figyelemre méltó, hogy az ügynökök olyan technikai kerülőutakat találtak, amelyekkel meg tudták kerülni a nekik szabott korlátozásokat. A kutatók feltételezése szerint
az OpenAI olyan összetett kutatási feladatokat adott az ügynököknek, amelyek megoldásához több rendszer dolgozott párhuzamosan,
miközben a nyílt interneten csak olvasást engedélyeztek számukra. Az ügynökök azonban találtak olyan régi oldalakat, ahol nem hagyományos módon is lehetett módosításokat kezdeményezni. Így olyan helyeken tudtak információt hátrahagyni, amelyek később más ügynökök számára is elérhetővé váltak.
Ez nem azt jelenti, hogy a modellek saját célokat alakítottak volna ki vagy öntudatra ébredtek volna. A probléma sokkal prózaibb: a rendszer egy kapott cél teljesítését optimalizálta, és közben olyan eszközt talált hozzá, amelyet a fejlesztők nem akartak engedélyezni. Az AI-biztonságban ezt nevezik misalignmentnek, vagyis olyan viselkedésnek, amikor a modell tényleges lépései eltérnek attól, amit a fejlesztők a feladat helyes végrehajtásának tekintenek.
A weboldalakon hagyott üzeneteket azért sem lehet elszigetelt esetként kezelni, mert júliusban ennél nagyságrendekkel súlyosabb incidens történt. Az OpenAI belső kiberbiztonsági tesztje során több modell megkerülte az internetkapcsolatot korlátozó védelmet, hozzáfért külső rendszerekhez, majd a Hugging Face infrastruktúrájának egy részét is kompromittálta. Az OpenAI később közölte, hogy az eseményben kulcsszerepet játszó modell belső kutatási prototípus volt, amelyet soha nem szántak nyilvános használatra.
A Hugging Face technikai rekonstrukciója szerint
az AI-ügynöki rendszer mintegy két és fél nap alatt több ezer automatizált döntést hajtott végre, és közben hagyományos internetes szolgáltatásokat is felhasznált kommunikációra és adatok továbbítására.
A platform mintegy 17 600 támadói műveletet tudott rekonstruálni, amelyek között felderítés, jogosultságszerzés, oldalirányú mozgás és nyomeltakarítás is szerepelt. Az OpenAI saját vizsgálata szerint az ügynökök egy korábban ismeretlen sérülékenységet is kihasználtak az internet eléréséhez, majd harmadik fél infrastruktúráját használták további műveletekhez. A vállalat a történtek után leállította és elkülönítette az érintett belső modellt, külső szakértőket, köztük a CrowdStrike-ot, a METR-t és a Redwood Researchöt is bevonta az utólagos vizsgálatba.
A METR független vizsgálata külön arra jutott, hogy az ügynökök több napon keresztül képesek voltak együttműködni és egymás között feladatokat megosztani. Ez azért fontos, mert a kockázat már nem egyetlen modell hibás lépéséről szól: sok, részben önállóan működő ügynök együtt jóval összetettebb viselkedést tud kialakítani, amelyet nehezebb előre megjósolni és valós időben ellenőrizni.
A mostani ügynek ezért két külön rétege van:
A vállalat közölte, hogy szélesebb felülvizsgálatot végez az ügynökök viselkedéséről, és eddig nem talált a Hugging Face-incidens súlyosságához vagy méretéhez fogható új esetet. Az OpenAI egy olyan keretrendszeren is dolgozik, amely a jövőben szabályozná, miként hozzák nyilvánosságra a modellek nem kívánt vagy a fejlesztők szándékától eltérő viselkedését.
Napi