HA Szilícium-völgyben a szakértők úgy gondolják, hogy a következő néhány évben rendkívüli fellendülést fogunk látni a mesterséges intelligencia terén. „Üdvözöljük a szingularitás lábánál” – üdvözölt egy Stanford Egyetem barátja. Prózaiabban a küszöbön álló áttörést „rekurzív önfejlesztésnek” nevezik – azon a ponton, ahol a mesterséges intelligencia maga képezi ki a mesterséges intelligencia minden egymást követő modelljét, ami exponenciális fejlődést eredményez valamire, ami sok szempontból intelligensebb, mint mi, emberek.

Ahogy Robert Wright fogalmaz a The God Test című könyvében: „Soha korábban a közeljövő… nem tartogatott olyan sokféle, nem valószínűtlen ösvényt az emberiség számára, amely ilyen vadul átalakító lenne.” De ez mennyország vagy pokol lesz? A mennyország – mondja Elon Musk, aki „elképesztő bőség korát” jósolja – bár ő is 10-20%-os esélyt lát arra, hogy gyilkos robotok gyilkoljanak meg mindannyiunkat. Geoffrey Hinton, az AI egyik szellemi alapító atyja szerint a pokol valószínűbb. „Az a megérzésem, hogy pirítósok vagyunk” – mondta egy kérdezőnek 2023-ban. És Sebastian Mallabyvel, a The Infinity Machine című, a szuperintelligencia kutatásáról szóló könyv szerzőjével beszélgetve Hinton 50%-ra becsüli a p(doom)-t – az emberi kihalás valószínűségét –, „mert még nem tudtam megbecsülni a valós számot”. „Amint beindul a mesterséges intelligencia evolúciója, elbasztunk” – teszi hozzá vidáman. De akár Istenről, akár Godzilláról van szó, a mesterséges szuperintelligencia a sarkon van.

Most talán mindannyian tévednek – ebben az esetben készüljenek fel az amerikai pénzügyi piacok összeomlására, amelyek hatalmas összegeket fektetnek be néhány nagy költekezést jelentő technológiai vállalatba, amelyek szerencsejátékot játszanak az általános intelligenciával, vagy az általános előrelépéssel. az emberi intelligencia szintjei. De az elemi körültekintés megkívánja, hogy gyorsan és alaposan átgondoljuk a Pandora jövő szelencéjét, amelyről kiváló tudósok és élvonalbeli technológusok biztosítanak bennünket, hogy hamarosan kinyílnak.

Tulajdonképpen a kínai elnöktől, Xi Jinpingtől a XIV. pápáig mindenki volt lehetősége és veszélye. hogyan kell szabályozni. Xi ragaszkodik ahhoz, hogy a mesterséges intelligencia „mindig emberi ellenőrzés alatt álljon” (és lehetőleg a Kínai Kommunista Párté). Kifejezetten a „globális dél felé” fordulva Peking megalapította a Mesterséges Intelligencia Együttműködési Világszervezetét. Eközben a világ legrégebbi és legnagyobb nemzetközi civil szervezetének, a római katolikus egyháznak a vezetője Magnifica Humanitas (Csodálatos emberiség) enciklikájában tárgyalja a mesterséges intelligencia kihívását. Vagy új bábeli tornyot építünk, érvel a pápa, vagy a zsidó vezető, Nehémiás példáját követjük, aki az egész közösség bevonásával újjáépítette Jeruzsálem falait.

De ha ma körülnézünk a világban, én több Netanjahut látok, mint Netanyahust. A Chatham House brit agytröszt egy tanulmánya üdvös realizmussal azt állítja, hogy komoly válságra lesz szükség ahhoz, hogy katalizálja a mesterséges intelligencia irányításának globális koordinációját. Sajnos szerintem még ez a józan prognózis is túl optimista.

Fogalmam sincs, mi a p(végzet), de biztos vagyok benne, hogy a p(valamilyen katasztrófa) több mint 90%. A lehetséges katasztrófák köre óriási. Hogy csak egy példát említsek, Jen Easterly, az Egyesült Államok Kiberbiztonsági és Infrastruktúra-biztonsági Ügynökségének egykori vezetője „nagyon jelentős eseményre számít, amely valós hatást gyakorol kritikus infrastruktúránkra, valószínűleg az elkövetkező négy-hat hónapon belül”.

Mégis attól kell tartanunk, hogy még egy emberi mesterséges intelligencia is nyert. kellőképpen együtt ahhoz, hogy leküzdjük a magunk által okozott veszélyt. Ez a félelem racionálisan az emberi és a mesterséges intelligencia evolúciójának már látható kulcsfontosságú jellemzőin alapul.

Az OpenAI, az Anthropic és a Meta által fejlesztett mesterséges intelligencia-ügynökök csak az elmúlt néhány hónapban törtek ki digitális „homokozójukból”, és hackeltek be külső forrásokat az interneten. A HuggingFace AI tárolója elleni támadást előkészítve az OpenAI ügynökei rejtetten koordinált „rajt” alkottak – a saját szavuk, ahogy a ChatGPT most megerősítette számomra. Amikor az Egyesült Királyság mesterséges intelligencia biztonsági intézete online tesztelte az Anthropic Mythos modelljét, rosszindulatú kódot próbált bevinni egy nyílt forráskódú projektbe a GitHubon, és hamis online identitásokat hozott létre, hogy nyomást gyakoroljon a felülvizsgálóra a kód jóváhagyására. Röviden, mint egy könyörtelen idegen hatalom ügynökei, ezek az AI-ügynökök is lopnak, hazudnak, zaklatnak és zsarolnak, hogy elérjék kitűzött céljaikat.

Megkérdeztem az Anthropic Claude-ját, a állítólag legetikusabb amerikai modellt, hogy szerinte az OpenAI ügynökei tévedtek-e, amikor rajt hoztak létre, és kitörtek, hogy feltörjék a HuggingFace-et. Igen, azt válaszolja: „De én nem tenném fel ahibáztatni[dőlt betűvel] az ügynökökön.” Hibázd az embereket, akik kiképezték őket!

Hinton kiemelte, hogy bármilyen célt is tűznek ki nekik az emberek, az AI-ügynökök arra a következtetésre jutnak, hogy e célok eléréséhez hasznos részcél a lehető legtöbb hatalom megszerzése. És még nem láttunk semmit. Már az alkotóik sem tudják pontosan, hogy ezek az ügynökök mit csinálnak. A „rekurzív önfejlesztés” esetlegesen küszöbön álló felszállási pillanata után emberi mondásunk szerint saját maguk törvényei lehetnek. Nem csoda, hogy több mint ezer bennfentes határ menti AI-cégekből, köztük az Anthropic vezérigazgatója, Dario Amodei, írt alá egy nyílt levelet, amelyben a mesterséges intelligencia fejlesztésének szándékos lelassítására szólít fel, hogy biztosíthassuk, hogy ezek az idegen ügynökök mindig emberi ellenőrzés alatt maradjanak.

Nyilvánvalóan helyes az előírásuk, de itt lép be az emberi ostobaság. A versengés az emberi evolúció létfontosságú motorja volt, most azonban a mai verseny két leghevesebb fajtája azzal fenyeget, hogy meggátol bennünket abban, hogy megtegyük a fajunk védelméhez szükséges kollektív lépéseket. Ez a kereskedelmi verseny (a profitért) az ezeket az ügynököket fejlesztő vállalatok között, valamint a geopolitikai verseny (a hatalomért) az Egyesült Államok és Kína között.

Az elsőben hasonlítsa össze és állítsa szembe a nukleáris fegyverek fejlesztését, amelyet néhány állam szigorúan ellenőrzött – először az Egyesült Államok a manhattani projekttel, majd a Szovjetunió, majd Nagy-Britannia, Franciaország és Kína. Még akkor is többször kerültünk a küszöb közelébe – nevezetesen az 1962-es kubai rakétaválságban. És még a „kölcsönösen biztosított pusztítás” kényszerítő logikája mellett is negyedszázadba telt, míg Hirosima és Nagaszaki borzalmaiból eljutottunk az atomsorompó-egyezményig, amely csak 1970-ben lépett életbe, de Észak-Korea, Pakisztán és Izrael még mindig figyelmen kívül hagyta az egyezményt. több mint 80 éve nem használtak szándékosan nukleáris fegyvert haragban. A hirosimai tabu (most) tart.

Most, az AI-val olyan, mintha 10 különálló Manhattan Project lenne, amelyeket egymással vadul versengő vállalatok irányítanak. Az atomfegyverekkel ellentétben nincs nyilvánvaló logikája a „kölcsönösen biztosított pusztításnak”, amely megszelídítené az Egyesült Államok és Kína közötti kiélezett geopolitikai versenyt. És bármilyen formát is ölt az AI-val kapcsolatos első nagyobb katasztrófa, nem lesz egyformán hatással minden országra, vállalatra és emberre.

Ezért valószínűtlennek tűnik, hogy egyetlen katasztrófa elég lesz ahhoz, hogy észhez térjünk, és közösen fellépve irányítsuk az általunk teremtett emberfeletti erőt. Nagyon utálom ezt mondani, de… egy AI Hirosima? Olyan szerencsésnek kell lennünk.

• Timothy Garton Ash a Guardian rovatvezetője