Az ausztrál közösségimédia-tilalmat alátámasztó technológiát tesztelő jelentés szerzői elismerték, hogy a ChatGPT-t használták a szerkesztés során, de tagadták, hogy a jelentésben szereplő idézési hibák egy része mesterséges intelligencia hallucinációinak tulajdonítható volna.

Az Egyesült Királyságban működő Age Check Certification Scheme (ACCS) által tavaly lebonyolított, 3,48 millió dolláros korhatár-biztosítási technológiai próbaverzió különböző típusú technológiát tesztelt, amelyeket a közösségi média platformok használhatnak Ausztrália 16 év alatti közösségi média tilalmának részeként.

Anika Wells kommunikációs miniszter a jelentést úgy hirdette, hogy „sok hatékony lehetőséget” mutat az emberek életkorának ellenőrzésére, és megnyitotta az utat a tilalom tavaly decemberi életbe lépéséhez.

A jelentés legtöbbje olyan teszteken alapul, amelyeket a szerzők a jelenleg rendelkezésre álló különféle korellenőrzési technológiákkal végeztek, de egy fejezet a „feltörekvő technológiákkal” foglalkozik, és számos folyóiratot idéz az életkor ellenőrzésének lehetséges új módjairól.

A közösségi média tilalmáról szóló törvény további megerősítését célzó, folyamatban lévő szenátusi vizsgálathoz beérkezett egy beadvány, amely legalább két idézési hibát emel ki a jelentésben. Az „idézetek… úgy tűnik, hogy mesterséges intelligencia hallucináltak, nem pedig valós forrásokon alapulnak” – áll a közleményben.

Amikor a Guardian Australia állításáról kérdezték ebben a hónapban, az ACCS szóvivője kezdetben tagadta a mesterséges intelligencia használatát a jelentésben, de később elismerte, hogy az AI-t a bekezdések tömörebb átírására használták.

„Nem használtunk mesterséges intelligenciát a jelentés vagy az idézett anyagok elkészítéséhez… Mindegyiket ellenőriztük, hogy valódi linkek és jelentések-e, és hogy relevánsak-e az idézett konkrét probléma szempontjából” – mondták.

A Guardian Australia jelentésének saját elemzése azonban hat olyan hivatkozást azonosított ugyanabban a részben, amelyek hibákat tartalmaztak.

A hibák a következők: Digitális objektumazonosítók (DOI-k – egyedi betű- és számkombinációk, amelyek meghatározott tudományos cikkekhez kapcsolódnak), amelyek nem létező dolgozatokra hivatkoznak; DOI-k, amelyek helytelen papírokra mutatnak; a szerző neve, folyóirat és megjelenési év kombinációja, amelyek nem egyeznek egyetlen ismert hivatkozással sem; és a DOI linkek olyan lapokhoz, amelyek nem azt írták, amit a jelentés sugall.

A szóvivő később pontosításokat és új hivatkozásokat adott az ACCS által támasztott kutatásra, de ez a válasz is tartalmazott hibákat.

A jelentésben szereplő cikkek kijavítására szánt folyóiratcikkek listája olyan éveket, szerzőket és folyóiratcímeket tartalmazott, amelyek nem egyeztek a jelentésben szereplő eredeti hivatkozásokkal.

Az ACCS által idézett egyik cikk láthatóan 2025 márciusában jelent meg. A tanulmány egyik vezető szerzője azonban megerősítette a Guardiannak, hogy cikkük csak 2025 júniusában volt nyilvánosan hozzáférhető. Azt is megerősítették, hogy az ACCS által a lap vezető szerzőjeként eredetileg idézett személy, „Jamil” soha nem szerepelt a cikkben, és hogy az AC CS-jelentésük pontosan összefoglalta.

A szóvivő további felvilágosítást adott egy másik hivatkozással kapcsolatban, amely nem található meg az idézett folyóiratban – „Weber et al. 2011” –, mondván, hogy azt a Monash Egyetem tanulmánya idézte, amelyet a Guardiannak adtak át. Az ACCS elküldött Monash-papírban azonban nem volt Webernek tulajdonított hivatkozás.

A szóvivő csak azután ismerte el, hogy mesterséges intelligenciát használtak, miután a Guardian négy linket azonosított a jelentés E és K részében, amelyek metaadatokat tartalmaztak, amelyek azt mutatják, hogy a link forrása a ChatGPT.

Azt állították, hogy a ChatGPT metaadatainak feltüntetésével a linkekben a szervezet nyilvánosságra hozta annak használatát, és mivel a linkek helyesek voltak, ezt nem látták problémának.

Azt mondták, hogy az MI-t használták néhány bekezdés tömörebb átírására, de nem használták kutatások indítására vagy a jelentés elkészítésére.

"Minden linket ellenőriztek és ellenőriztek, és bár elnézést kérek, ha véletlen hiba történt, mindez emberi ellenőrzéssel történt."

A szövetségi kormány korábban félreértette az AI-t használó vállalkozókat a kormánynak küldött jelentésekben. A Deloitte tavaly visszatérítette a kormánnyal kötött 440 000 dolláros szerződésének egy részét, miután hibákat azonosítottak, és a tanácsadó cég elismerte, hogy mesterséges intelligenciát használ.

A Wells irodájába intézett kérdéseket átirányították az osztályára.

"A minisztérium megvizsgálja az alább felvetett aggályokat, és szükség szerint kapcsolatba lép az ACCS-szel" - mondta múlt pénteken az osztály szóvivője.

A szenátusi vizsgálat pénteki meghallgatásán a minisztérium tisztviselői elmondták, hogy találkoztak az ACCS-szel, aki azt állította, hogy a hibák a korábban működő linkek megszakadásából fakadtak. A tisztviselők ezt egymástól függetlenül nem ellenőrizték, és kijelentették, hogy „nagyon nehéz” lenne visszamenni és ellenőrizni.

Azt mondták, „maroknyi hiba” volt egy 1000 oldalas jelentés 26 oldalas idézetében.

„Az [ACCS] biztosított minket arról, hogy a hivatkozásokat a dokumentum közzétételekor ellenőrizték, és akkor mindegyik működött” – mondta az osztály első titkárhelyettese, Sarah Vandenbroek. "Tehát időközben valami megváltozhatott. [Ők] arról is biztosítottak bennünket, hogy bár egyes hivatkozások megszakadhattak, bár a forrásdokumentumok még mindig léteznek, továbbra is érvényesek."

Christian Downie professzor, az Ausztrál Nemzeti Egyetem szabályozási és globális kormányzási iskolájáról, aki korábban már vizsgált a kormánynak benyújtott, mesterséges intelligencia hallucinációkat tartalmazó beadványokat, azt mondta, hogy ha a jelentések vagy a kormánynak benyújtott beadványok hamis idézeteket tartalmaznak – mesterséges intelligenciát vagy mást –, az rossz döntésekhez vezethet, és „csorbítja a közbizalmat és az intézményekbe vetett bizalmat”.

„Azt feltételeznénk, hogy a kormány már gondolkodik ezen, és ehhez szerződéses megállapodásokra és vélhetően szankciókra lesz szükség, hogy elriasszák ezt a fajta magatartást” – mondta.

Fatima Payman, független szenátor a következőket mondta: „A Deloitte AI tavalyi hibás jelentésének története véget kellett volna vetnie a kormányzati vállalkozók jelentéseiben való laza hivatkozásoknak.”

„A kormánynak bocsánatkérést és visszatérítést kell követelnie a jelentés mögött álló vállalkozótól” – mondta.