Ahogy megjelent egy új technológia, vele együtt kialakultak azok a szabályok és megoldások is, amelyekkel csökkenteni lehetett a veszélyeket. Valami hasonló történik most a mesterséges intelligenciával, azonban ezúttal nem egyszerűen egy újabb elektromos eszközről vagy hagyományos gépről van szó. Az AI egyre inkább bekerül azokba a rendszerekbe, amelyek érzékelik a környezetüket, értelmezik a helyzeteket, majd bizonyos fokú önállósággal döntéseket is hoznak. Különösen fontos fejlemény ez a robotikában.

A mesterséges intelligencia ugyanis itt már nem pusztán egy szoftver egy számítógépben: fizikai teste van, mozog, tárgyakat fog meg, emberek között dolgozik, és akár másodpercek alatt hozhat olyan döntést, amelynek közvetlen fizikai következménye van. Ez pedig teljesen új kihívás elé állítja a biztonságtechnikát, mondja Paniti Imre, a HUN-REN SZTAKI tudományos főmunkatársa a „Megtestesült AI és a funkcionális biztonság: mikor mondhatjuk, hogy egy robot mellett biztonságban vagyunk” című előadásában az AI Summit konferencián Budapesten.

Már nem lehet minden mozdulatot előre megírni

A hagyományos ipari robotok biztonságának egyik alapja korábban az volt, hogy a gép viselkedését előre tudni lehetett: egy program alapján meghatározott pályán mozgott, a veszélyes munkaterületet pedig megfelelően el lehetett választani az embertől.

A mesterséges intelligenciával azonban megjelenik egy másik működési logika. A robot érzékeli a környezetét, felismeri a tárgyakat, embereket és akadályokat, majd a rendelkezésére álló információk alapján dönthet arról, hogyan folytassa a munkát. Ha például egy korábban nem látott tárgy kerül az útjába, nem feltétlenül egy előre megírt utasítás mondja meg neki, hogy mit tegyen. A rendszer maga próbálhatja értelmezni a helyzetet.

Ez óriási lehetőség, de biztonsági szempontból komoly probléma is, folytatja Paniti Imre. Egy hagyományos gépnél ugyanis viszonylag jól meghatározható, milyen bemenethez milyen kimenet tartozik. Egy tanuló AI-rendszernél azonban nem biztos, hogy minden lehetséges helyzetet előre fel lehet sorolni. A fejlesztők szimulációkkal, tesztekkel és különböző kockázatelemzési módszerekkel igyekeznek minél több szituációt lefedni, de az összes elképzelhető esetet nem lehet kipróbálni.

Mindig marad valami, amit nem láttunk előre!

A biztonságtechnikának ezért nem az a célja, hogy azt ígérje: egy rendszer soha, semmilyen körülmények között nem hibázhat. Ilyen rendszer gyakorlatilag nem létezik. A cél az, hogy a rendelkezésre álló eszközökkel a kockázatokat a lehető legalacsonyabb szintre csökkentsük. Ez a maradó kockázat kérdése, és éppen itt válik különösen fontossá a szabályozás.

A biztonság tehát nem pusztán technológiai kérdés. A szabványok és a szabályozás azt is meghatározzák, hogy egy vállalat milyen kockázatot vállalhat, illetve milyen feltételek mellett hozhat piacra egy rendszert. Ez azért különösen fontos, mert az AI önmagában nem fogja eldönteni, hogy mi az elfogadható kockázat. Ezt a szabályozási környezetnek kell meghatároznia.

Az egyik legfontosabb háttér a funkcionális biztonság rendszere, amelynek alapelve, hogy a rendelkezésre álló technikai eszközökkel meg kell védeni az embert, a gépet és a környezetet. A különböző iparágakban természetesen eltérőek a kockázatok. Más követelmények vonatkoznak egy ipari robotra, egy közlekedési rendszerre, egy egészségügyi berendezésre vagy egy energiaipari létesítményre.

Az alapelv azonban ugyanaz: meg kell határozni a veszélyeket, csökkenteni kell a kockázatokat, és gondoskodni kell arról, hogy egy hiba ne vezessen elfogadhatatlan következményhez. A szabványosítás ráadásul folyamatosan követi a technológia fejlődését.

A kollaboratív robotoknál például előbb technikai specifikációk jelentek meg, amelyek részletesebben meghatározták, hogyan kell alkalmazni a biztonsági követelményeket, majd ezekből idővel szabványok lettek. Hasonló folyamat zajlik most az AI esetében is: a következő években várhatóan egyre több olyan szabály és technikai specifikáció jelenik meg, amely már kifejezetten a mesterséges intelligenciát alkalmazó, biztonságkritikus rendszerekkel foglalkozik.

Mit tanult a robot?

Az AI-alapú rendszerek biztonsági vizsgálatánál kulcskérdéssé válik az adat. Milyen adatokon tanították a modellt? Milyen bemeneteket kap? Milyen kimeneteket produkál? Milyen esetekben tévedhet? De ami talán még fontosabb: hogyan lehet ellenőrizni, hogy a rendszer döntései megfelelnek-e a biztonsági követelményeknek?

Itt ütközik egymással két teljesen érthető érdek. A vállalatok szeretnék megvédeni saját technológiájukat, algoritmusaikat és üzleti titkaikat. A szabályozó, a biztonsági szakértő vagy az auditor viszont nem teheti meg, hogy pusztán azért elfogad egy rendszert biztonságosnak, mert a gyártó ezt állítja róla.

Valamilyen közös metszetet kell találni. A fejlesztőnek nem feltétlenül kell minden üzleti titkát kiadnia, de a biztonsági vizsgálathoz szükséges információkat hozzáférhetővé kell tennie. Egyfajta ellenőrizhető „fekete dobozra” van szükség: a vizsgálónak nem kell tudnia minden egyes belső részletet, de azt meg kell tudnia állapítani, hogy a rendszer megfelel-e az előírt biztonsági követelményeknek.

Mi történik a rendszer meghibásodásakor?

Ha egy AI-rendszer hibás döntést hoz, attól még nem válhat veszélyessé az egész robot. A körülötte lévő biztonsági rendszernek képesnek kell lennie arra, hogy felismerje a problémát és szükség esetén beavatkozzon. Ez az egyik oka annak, hogy az AI-alapú robotoknál várhatóan egyre nagyobb szerepet kapnak a különálló biztonsági rendszerek és operációs környezetek.

Vagyis nem elég, hogy a robot biztonságos – annak is kell látszania, folytatja a HUN-REN SZTAKI szakembere. Van azonban a biztonságnak egy kevésbé kézzelfogható oldala is, még pedig az emberi biztonságérzet. Egy robot lehet műszakilag biztonságos, de ha az ember nem érti, hogy mit készül csinálni, könnyen bizonytalanná válhat a közelében. Ez különösen fontos lesz akkor, amikor az emberek és a robotok egyre szorosabban működnek együtt.

Nem feltétlenül kell megjósolni minden mozdulatát, de már az is sokat számíthat, ha az ember tudja, hogy a robot néhány másodpercen belül merre fog elmozdulni. Ez már nem egyszerűen technikai biztonság, hanem az ember és a gép közötti kommunikáció kérdése.

A robotnak egyre inkább érthetőnek kell lennie

A jövő biztonságos robotja ezért valószínűleg nem egyetlen biztonsági funkcióból fog állni, hanem több, egymást kiegészítő rendszerre lehet szükség. A robot saját érzékelői figyelhetik a környezetet, miközben külső kamerák vagy más érzékelők is ellenőrizhetik, mi történik körülötte.

Az AI megtervezheti a mozgást, ha pedig vészhelyzet alakul ki, nem feltétlenül elég egyszerűen „leállítani” a robotot. Bizonyos helyzetekben azt is meg kell határozni, hogyan álljon le biztonságosan. A biztonsági rendszernek azt is figyelembe kell vennie, hogyan lehet a gépet olyan állapotba hozni, amelyben sem az emberre, sem a környezetére nem jelent veszélyt.

A folyamat végén pedig nem maradhat el az ellenőrzés: először meg kell határozni, hogy pontosan milyen rendszerről van szó. Ezután azt is meg kell vizsgálni, hogy az AI-t milyen felügyeleti rendszer ellenőrzi. Ha maga az AI nem minden szempontból vizsgálható közvetlenül, akkor milyen más mechanizmus garantálja, hogy egy hibás döntésből ne legyen veszélyes helyzet?

Végül pedig jön az audit, hiszen a rendszer csak akkor tekinthető megfelelőnek, ha nemcsak normál működés közben biztonságos, hanem meghibásodás esetén is képes biztonságos állapotba kerülni. Ez különösen fontos lesz azoknál a robotoknál, amelyek közvetlenül emberek közelében dolgoznak.

Az AI lehet okosabb, a biztonságnak viszont még okosabbnak kell lennie

A következő évek egyik legfontosabb technológiai kérdése tehát ezért nem az lesz, hogy mennyire intelligens robotokat tudunk építeni. Hanem az lesz a legfontosabb, hogy hogyan tudjuk ezeket az intelligens gépeket úgy kiengedni az emberek közé, hogy közben ne kelljen lemondanunk a biztonságról.

A technológia fejlődése ugyanis gyorsabb lehet, mint a szabványoké. A mesterséges intelligencia fejlesztői hónapok vagy akár hetek alatt képesek új rendszereket létrehozni, miközben egy szabvány kidolgozása és elfogadása ennél jóval hosszabb folyamat. Ez komoly kihívást jelent.

A szabályozásnak nem az a feladata, hogy megakadályozza az innovációt, hanem éppen ellenkezőleg: olyan keretet kell létrehoznia, amelyben az új technológiák biztonságosan fejlődhetnek. A fejlesztőknek pedig el kell fogadniuk, hogy amikor egy AI-rendszer fizikai világban működik, a „majd a tesztelés során kiderül” hozzáállás már nem elegendő.

A robot ugyanis nem egy chatbot, hiszen, ha egy AI-val működő robot rosszul dönt, annak fizikai következménye lehet. Ezért a jövő robotjának nemcsak intelligensnek kell lennie, hanem ellenőrizhetőnek, kiszámíthatónak és biztonságosnak is.