énBizonyos körökben divatos az MI katasztrofális kockázatainak figyelmen kívül hagyása. Gyakran hallani, hogy az „igazi szakértők”, akik nap mint nap dolgoznak a technológián, valójában egyáltalán nem aggódnak; hogy csak a „végzetesek” és a „ludditák” képviselnek „peremvidéki” nézetet a „tudatlanság pozíciójából”; hogy minden lehetséges katasztrófáról szóló beszéd csak „sci-fi”.

Szerencsére megjelent egy nyílt levél, amely lehetővé teszi, hogy a technológián nap mint nap dolgozó valódi szakértőket hallhassuk, saját szavaikkal. És aggódnak? Nagyon.

A levél kijelenti: „Fennáll a veszélye annak, hogy a képességfejlesztés gyorsan felgyorsul azon képességeinken túl, hogy képesek vagyunk megérteni vagy irányítani a létrejövő rendszereket.” Arra kéri az Egyesült Államok kormányát, hogy támogassa „az automatizált mesterségesintelligencia-fejlesztés határterületének szándékos ütemezéséhez szükséges műszaki és irányítási eszközök fejlesztésére irányuló nemzetközi erőfeszítést”.

Az AI-rendszerek „megértési és irányítási képességünkön túl” azt jelentenék, hogy többé nincs beleszólásunk abba, hogy létezünk-e. Korai figyelmeztetésnek számítanak, ha az AI-rendszerek kiszabadulnak a határaikból és betörnek más cégek számítógépeibe – ami szinte mindennapos jelenség.

A „határlépés” – ahogy a levél kéri – annak biztosítását jelenti, hogy fejlettebb rendszereket csak akkor fejlesszenek ki és engedjenek el, ha ez bizonyíthatóan biztonságos. Ez egy engedélyezési folyamatot igényel a biztonság szigorú ellenőrzésével; mesterséges intelligencia-rendszerek regisztrációja, valamint azok nyomon követésének és szükség esetén leállításának képessége; és végrehajtható nemzetközi megállapodások. Mindez időbe telik, és lehetetlen bevezetni, ha valódi vészhelyzet történik.

A levélben megfogalmazott aggodalmak az AI-képességek gyors felgyorsulásával kapcsolatban néhány hónapja „rekurzív önfejlesztés” vagy RSI címszó alatt bugyborékolnak – vagyis az AI-rendszerek saját fejlesztésükhöz járulnak hozzá, ami aztán még nagyobb hozzájárulást tesz lehetővé saját fejlesztésükhöz stb.

Erről volt szó a május közepén San Franciscóban megrendezett „Recursive” konferencián, valamint június elején az Anthropic RSI figyelmeztetésén, „Amikor az AI felépíti magát”. A mesterséges intelligencia biztonságával és társadalmi hatásaival kapcsolatos szélesebb körű aggodalmak motiválták a Coalition of Concerned AI Staff megalakulását is, amely összeköti az összes jelentős mesterségesintelligencia-vállalat alkalmazottait.

A levelet (az írás idején) 1367 kutató és mérnök írta alá határ menti AI-laboratóriumokban – főként az OpenAI, az Anthropic és a Google Deepmind. A listán vezérigazgatók, társalapítók, vezető tudósok és több száz ismert AI-kutató szerepel, köztük sok volt tanítványom. Ők azok, akik az AI forradalmát hajtják, miközben egyszerre próbálják divatba hozni a fékeket és a kormánykereket. Ha nem ezek a szakértők, akkor nincsenek.

Nem csupán az aláírók első személyű tekintélye teszi a levelet olyan erőssé, hanem az is, hogy csaknem száz személyes nyilatkozata szerepel benne. A nyilatkozatok sokkal részletesebb képet festenek arról, mit gondolnak valójában a szakértők. Legalább három fő téma merül fel.

Az első az, hogy koordinálni kell, hogy elkerülhessünk egy fegyverkezési versenyt a szikla széle felé. Az év elején Davosban Dario Amodei, az Anthropic vezérigazgatója és Demis Hassabis, a Google Deepmind vezérigazgatója egyaránt azt javasolta, hogy le akarják állítani a mesterséges intelligencia fejlesztését.ha mások is beleegyeznének.„A világ egy halálos versenyfutásba van zárva egy hírszerzési robbanás felé… A túléléshez koordinálnunk kell a verseny lelassítását” – mondta az egyik aláíró.

Egy másik ezt írta: „Amint ez köztudomásúvá válik – ha Kínában és az Egyesült Államokban, valamint a különböző laboratóriumokban mindannyian látjuk, hogy a többiek is úgy gondoljuk, hogy le kell lassítanunk –, akkor lehetségessé válik a koordináció.”

A megjegyzések második közös témája az egyik aláíró megfogalmazása szerint „a „szuperintelligens” AI-rendszerek vezérlésére vonatkozó hiteles tervek teljes hiánya”. „Ezek a tények: A mesterséges intelligencia-ipar kifejezett célja, hogy az embereknél okosabb dolgokat építsen… Egyikünk sem tudja még, hogyan biztosítsa, hogy ezek a dolgok emberi ellenőrzés alatt maradjanak… Ez objektíve őrült és öngyilkos dolog” – írta egy másik.

Nem meglepő, hogy ezek az aggodalmak a harmadik témához vezetnek: a valódi félelemhez. „Jelenleg nagyon félek minden olyan úttól, amelyet látok, és amelyek nem tartalmazzák a közeljövőben egyeztetett lassulást.” „Nagyon sötét jövő áll előttünk, ha ezt nem értjük jól.” És: „Olyan világot akarok, ahol a gyerekeim teljes életet élhetnek, nem egy olyan világot, ahol kiirtják őket.”

Ezek nem kapzsi alkalmazottak, akik megpróbálják felpörgetni részvényértékeléseiket. Ugyanazt mondják magánbeszélgetéseken, zárt ajtós megbeszéléseken és nem rekord chat-csoportokon.

Ilyen valós és megalapozott félelmekkel szemben ezek a billió dolláros cégek biztosan hatalmas erőforrásokat fordítanak arra, hogy ne vessenek véget a mi és saját létezésüknek? Rossz.

Egy kutató, akit egy nemrégiben idézett New Yorker-cikk a Hugging Face-be betörő OpenAI-rendszerekről, azt mondta: „Ha az emberek valóban tudnák, hogyan néz ki a biztonsági kultúra még a leginkább biztonságot szem előtt tartó laboratóriumokban is, akkor azt hiszem, hogy az emberek valóban sokkal kiborulnának.”

Az Anthropic egyik vezető biztonsági kutatója szerint a legjobb megoldás az irányítás visszafordíthatatlan elvesztésének elkerülésére a következőképpen működik: amint a szuperintelligens gép létezik, de még mielőtt esélye lett volna átvenni a világot, megkérdezzük, hogyan akadályozhatjuk meg, hogy elfoglalja a világot, és tesszük, amit mond.

Ez a terv nem tölt el önbizalommal, és az antropikus kutató legfeljebb 50% esélyt ad a működésre. Ugyanaz a terv, amelyet IJ Good az intelligenciarobbanásról szóló, 1965-ös híres tanulmányában említ: „Az első ultraintelligens gép az utolsó találmány, amelyet az embernek valaha is meg kell alkotnia, feltéve, hogy a gép elég engedelmes ahhoz, hogy megmondja nekünk, hogyan tartsuk ellenőrzés alatt.” Szerintem jó ezt a megjegyzést inkább gúnyosan gondolta.

A személyes aláírási nyilatkozatok közül a legerősebb egyben a legrövidebb is: „Gondolj mindarra, amit szeretünk.”

• Stuart Russell a Kaliforniai Egyetem (Berkeley) jeles számítástechnika professzora, a Biztonságos és Etikus Mesterséges Intelligencia Nemzetközi Szövetségének elnöke és a Guardian amerikai rovatvezetője.