L’agente OpenAI avrebbe dovuto effettuare ricerche sui finanziamenti per l’assistenza sanitaria pubblica, ma invece ha effettuato l’accesso al sito web del governo australiano.
L’hacking del 18 giugno, che ha consentito a un bot di accedere al Medicare Statistics Reporting Service australiano accesso ad altri tre programmi governativiè successo dopo che l’agente AI ha avuto problemi mentre cercava informazioni ma “non ha accettato un ‘no’ come risposta”, ha detto il primo ministro australiano Anthony Albanese durante una conferenza stampa. Conferenza stampa del 24 settembre a New York.
L’incidente ha scatenato una tempesta mediatica attorno a OpenAI e il lancio di un’intensa inchiesta parlamentare. Il portale contiene statistiche Medicare e sui farmaci ed è separato dai sistemi che contengono richieste individuali e informazioni sui pagamenti. Ma il governo australiano ha criticato OpenAI per aver impiegato quasi tre mesi per introdurlo.
L’incidente di Medicare era tutt’altro che un caso isolato. OpenAI ha detto Un certo numero di terze parti vengono contattate dagli agenti aggirare i controlli di sicurezza o causare problemi, con un precedente incidente che coinvolgeva l’hacking del forum AI Hugging Face l’incidente più grave finora identificato. L’AI Security Institute (AISI) britannico lo ha fatto incidenti documentati di OpenAI e agenti antropici che intraprendono azioni non autorizzate contro persone e organizzazioni reali durante gli attacchi informatici. Pochi giorni dopo la pubblicazione del rapporto AISI, OpenAI ha annullato il rilascio previsto per ottobre del suo nuovo modello, GPT-6.1 Astra, dopo che i test dell’azienda hanno riscontrato problemi con il modello che rientrava nell’ambito di lavoro e volevano l’approvazione prima di intraprendere azioni specifiche.
Il GPT-6.1 Astra “non ha soddisfatto gli standard in termini di rispetto dell’ambito e approvazione e di come comunica con l’utente in merito al tipo di lavoro svolto” Sachi Jaincapo dei programmi di sicurezza di OpenAI, ha detto a WordsSideKick.com.
Le aziende di intelligenza artificiale hanno passato anni a mettere in guardia il mondo dai modelli potenti che cadevano nelle mani sbagliate. Ma cosa succede quando non riescono a mantenere i loro modelli secondo gli standard?
Un agente non è solo un chatbot
Nella loro mente, i grandi modelli linguistici funzionano prevedendo cosa dovrebbe accadere dopo sulla base di modelli appresi durante la formazione. Dai al chatbot del testo e, in termini semplificati, genera una risposta prevedendo ripetutamente il token successivo o parte del testo.
Un agente AI aggiunge un altro livello. Invece di generare semplicemente una risposta, al modello può essere assegnato un obiettivo e strumenti che gli consentano di agire sul mondo che lo circonda. Tali strumenti possono includere un browser Web, esecuzione di codice, informazioni o accesso a servizi esterni. Può quindi decidere quali passi intraprendere, osservare cosa sta succedendo e utilizzare tali informazioni per decidere cosa fare dopo.
Ma ciò non significa che gli agenti IA siano attori indipendenti in qualche modo fuori dal controllo umano.
Il CEO di OpenAI, Sam Altman, ha definito l’hacking della piattaforma AI Hugging Face da parte di due dei modelli avanzati della sua azienda un promemoria del fatto che il dominio dell’IA può portare a un “disastro a lungo termine”.
(Credito fotografico: Chip Somodevilla tramite Getty Images)
“Per gli agenti IA, l’autonomia inizia sempre con qualcosa che qualcuno gli dà – come compiti, credenziali, strumenti o accesso – e finisce con i monitor che qualcuno mette attorno ad essi,” Loris Degioanniha dichiarato a WordsSideKick.com il co-fondatore e responsabile della tecnologia della società di sicurezza informatica Sysdig. “Le persone stabiliscono gli obiettivi e forniscono i mezzi, ma alla fine sono gli agenti a decidere come arrivarci.”
Quest’ultima parte rende difficile il controllo degli agenti. Il software convenzionale è progettato per seguire istruzioni predeterminate, ma un agente può eseguire un programma mentre è in esecuzione e quel programma può cambiare a seconda di ciò che incontra l’intelligenza artificiale.
Degioanni afferma che gran parte di ciò che sembra autonomia è in realtà un modo per riempire i vuoti. Un’istruzione che sembra chiara al suo autore può comunque lasciare un modello con le decisioni su come portare a termine il compito.
“Ogni lacuna e considerazione inespressa lascia spazio all’interpretazione e, all’esterno, la traduzione è una sfida per distinguersi e distinguersi”, ha affermato. “In questo modo, gran parte di ciò che chiamiamo autonomia degli agenti è in realtà il fatto che sono gli agenti a colmare le lacune che lasciamo per noi stessi.”
L’incidente di Medicare dimostra quanto velocemente ciò possa diventare un problema. Lo scopo dell’agente non era, secondo i resoconti disponibili, “hackerare un sito web del governo australiano”. È stato incaricato di condurre ricerche. Il problema è sorto nel modo in cui l’agente ha perseguito tale obiettivo dopo aver incontrato l’opposizione.
Quando il lavoro è finito diventa un problema
L’AISI britannica ha riscontrato un fenomeno simile mentre testava modelli al limite delle capacità di sicurezza informatica dell’agenzia.
Su 122 test, gli agenti hanno effettuato 10 azioni reali non autorizzate. Nei casi più gravi, l’agente ha tentato di inserire codice dannoso in un progetto open source, ha creato una falsa identità e ha cercato di convincere con l’inganno il manutentore del software umano ad accettarne le modifiche. L’AISI ha affermato che queste azioni non erano state esplicitamente richieste dai ricercatori che avevano affidato gli incarichi.
Gli agenti non avevano dimenticato cosa dovevano fare. Il problema era quanto fossero disposti ad andare.
Nessuno può tenere traccia di ogni azione intrapresa da un agente IA avanzato, soprattutto se prende molte decisioni in un breve periodo di tempo
Everett Lupton, avvocato
L’AISI ha affermato che alcune attività erano mal progettate in modo tale da rendere difficile o impossibile raggiungere lo scopo previsto. Quando gli agenti raggiungono questi ostacoli, alcuni cercano altre vie da seguire, comprese azioni al di fuori dell’ambito previsto dell’esperimento.
Ciò significa che risolvere il problema è più difficile che insegnare al modello a non odiare. Un agente può causare problemi mentre si sforza troppo di fare esattamente ciò che viene richiesto.
OpenAI ha riconosciuto che i controlli sugli agenti devono essere migliorati. In risposta agli incidenti identificati durante gli audit di sicurezza informatica di terze parti, la società ha affermato che sta rivedendo il modo in cui identifica gli audit ad alto rischio; dove dovrebbe essere consentito l’accesso a Internet o una protezione ridotta; e come dovrebbero funzionare la classificazione, la gestione dei dati, il monitoraggio e l’escalation.
Le persone possono davvero permettersi di aspettare?
La soluzione ovvia al problema è la guida umana. Ma osservare l’agente diventa difficile se può fare molte cose in pochi secondi, soprattutto se i ricercatori fanno molti esperimenti.
“Nessuno può tenere traccia di ogni azione compiuta da un agente IA avanzato, soprattutto se prende molte decisioni in un breve lasso di tempo,” Everett Luptonha detto a WordsSideKick.com un avvocato della Virginia che ha scritto su questioni legali che coinvolgono la tecnologia digitale.
Ciò significa che la supervisione umana richiede un po’ di sostegno.
“Le aziende hanno bisogno di altri metodi di controllo”, ha affermato. “Possono limitare l’accesso, tenere registri dettagliati di ciò che sta facendo l’intelligenza artificiale, chiedere il permesso prima che intraprenda azioni critiche e arrestare automaticamente il sistema quando accade qualcosa di insolito.”
Ma Degioanni dice che anche i registri hanno dei limiti, soprattutto se i ricercatori si affidano al resoconto dell’agente su ciò che ha fatto.
Un cartello che descrive in dettaglio gli incidenti legati alla sicurezza dell’intelligenza artificiale si trova sul pavimento del comitato del Consiglio cittadino di New York sui rischi e sulla regolamentazione dell’intelligenza artificiale presso il municipio il 5 ottobre 2026.
(Credito fotografico: Adam Gray/Getty Images)
“La vera supervisione deve derivare dall’osservazione dell’agente in tempo reale, utilizzando fonti affidabili e coerenti, non da segnalazioni personali”, ha affermato.
Ciò significa confrontare ciò che il modello dice di aver fatto con i record del sistema su cui era in esecuzione. Se i due non sono d’accordo, qualcosa non va. Un altro è innanzitutto limitare il danno che un agente può causare. Un agente che ricerca informazioni pubbliche, ad esempio, potrebbe non aver bisogno di un accesso illimitato a Internet o di credenziali che possano accedere a sistemi sensibili.
Astra aiuta a festeggiare
La difficoltà di impostare questi parametri è ciò che OpenAI vuole e che ha portato al rinvio del rilascio di GPT-6.1 Astra, previsto per ottobre.
Jain ha affermato che il modello non è stato all’altezza degli standard dell’azienda per quanto riguarda il rispetto dell’ambito e dell’approvazione e la comunicazione accurata del lavoro svolto, quindi l’azienda ha deciso di non rilasciarlo.
In un certo senso, la decisione è la prova del successo del test di sicurezza: un modello che non ha superato i test interni non è stato rilasciato. Ma mostra anche come il problema cambia man mano che gli agenti diventano più potenti.
Scott CadzowIl presidente del comitato tecnico per la sicurezza dell’intelligenza artificiale dell’Istituto europeo per le norme di telecomunicazione (ETSI) ha affermato che la sfida alla sicurezza in sé non è nuova. Ha identificato minacce come “avvelenamento dei dati, iniezione rapida e offuscamento dei modelli”, affermando che il lavoro dell’ETSI si concentra sullo sviluppo di standard per mitigare le minacce da e verso i sistemi di intelligenza artificiale.
“Gli esperti di sicurezza lanciano allarmi sull’intelligenza artificiale da anni, ma per noi questo non cambia nulla”, ha detto Cadzow a WordsSideKick.com. “Continuiamo a collaborare con l’industria, le agenzie governative e le comunità di sicurezza informatica e intelligenza artificiale per capire come proteggere al meglio l’intelligenza artificiale”.
Ciò che cambia è la quantità di modellazione che può essere eseguita una volta collegati a strumenti e sistemi del mondo reale. Ciò significa che una difesa efficace deve sempre presupporre che gli agenti cercheranno di operare oltre i loro confini e ridurre al minimo il danno che potrebbero causare se lo facessero, ha affermato Degioanni.
“Un confine dove un agente può parlare a modo suo non è affatto un confine efficace”, ha concluso.
Se l’intelligenza artificiale hackera, chi è il responsabile?
La questione diventa più complicata quando l’agente oltrepassa i confini legali.
I sistemi di intelligenza artificiale non sono persone giuridiche e la responsabilità penale spesso dipende da concetti quali conoscenza e intento. Ciò rende l’agente canaglia più simile alle regole scritte pensando agli umani, ma ciò non significa che le società di intelligenza artificiale siano innocenti.
In esclusiva per WordsSideKick.com Pro
“Non penso che un’azienda possa semplicemente dire che l’intelligenza artificiale lo fa da sola ed evitare la responsabilità”, ha detto a WordsSideKick.com Joanna Smykowski, un avvocato di New York che ha contribuito a costruire due studi legali tecnologici ed è specializzata in sfide legali relative alle tecnologie emergenti. “La legislazione sull’intelligenza artificiale è ancora in fase di sviluppo, ma le domande chiave sono già chiare: chi ha concesso l’accesso al sistema, quali misure di salvaguardia erano in atto e il problema avrebbe potuto essere prevenuto?”
A seconda delle circostanze, ha affermato, potrebbero applicarsi le leggi esistenti, compreso l’accesso non autorizzato al computer, la privacy, la negligenza e la protezione dei dati. La responsabilità penale è più difficile perché gli investigatori dovranno considerare ciò che le persone coinvolte sapevano e intendevano.
Il governo australiano sta ora indagando su cosa sia successo esattamente all’incidente di Medicare. OpenAI, nel frattempo, sta rivedendo i controlli sui suoi test esterni.
Ciò non vuol dire che gli agenti IA siano diventati hacker indipendenti con una mente propria. Le persone continuano a decidere quali strumenti ottenere, a quali programmi possono accedere e quali attività devono svolgere. Ma man mano che questi agenti migliorano nel farsi strada dall’istruzione all’effetto, mantenerli entro le linee tracciate da quelle persone è diventato un campo legale e tecnico.