Un leader della sicurezza presso OpenAI si è ritirato dall’azienda, avvertendo che la sua cultura era rotta e che le aziende di intelligenza artificiale “non erano abbastanza attente” nello sviluppo della tecnologia.
David Robinson, che ha guidato la stesura dei rapporti sulla sicurezza che accompagnano i rilasci dei prodotti degli sviluppatori ChatGPT, ha spiegato le sue dimissioni con la didascalia: “Ho lasciato OpenAI perché la sua cultura era rotta”.
Robinson scrive che è necessaria una revisione culturale nelle organizzazioni di intelligenza artificiale all’avanguardia e che eventi come lo “sciame” di agenti OpenAI – programmi di intelligenza artificiale che operano autonomamente senza supervisione umana – Attaccare l’avvio dell’IA abbracciando la faccia “Il settore è caratterizzato dalla velocità e dalla facilità con cui le persone lavorano”.
Scrivere dentro Rivista AtlanticaRobinson ha scritto: “Sono d’accordo con gli altri dipendenti che se ne sono andati di recente sul fatto che le aziende che costruiscono questa tecnologia non sono abbastanza attente. Ma credo che dobbiamo guardare più in profondità rispetto a regole specifiche o nuove leggi. Dobbiamo parlare di cultura”.
Riferendosi al ritmo di sviluppo di OpenAI, ha scritto: “Mentre l’azienda corre da un lancio all’altro, non riesce a raggiungere il livello di assistenza di cui ho bisogno”.
Tuttavia, OpenAI ha mostrato segnali di allarme nelle ultime settimane dopo che è stato rivelato che più di 100 organizzazioni erano state informate dell’incidente di Hugging Face e dell’attività di agenti non autorizzati. Lo ha annunciato questa settimana Il modello AI di prossima generazione sta eliminando il rilascio Dopo che i ricercatori hanno sollevato problemi di sicurezza durante i test interni. C’è OpenAI Sospesi anche gli allenamenti I suoi modelli più avanzati.
Anche Geoffrey Irving, che ha lavorato presso OpenAI e DeepMind prima di diventare il capo scienziato di Risoluzione, si è unito agli avvertimenti sull’intelligenza artificiale sabato.
Scrivendo su Time, ha affermato: “I recenti avvertimenti sul potere potenzialmente distruttivo dell’intelligenza artificiale sottovalutano la gravità della situazione.
“Credo che ci sia una probabilità del 50% che moriremo tutti a causa dello sviluppo di sistemi di intelligenza artificiale più intelligenti degli esseri umani, e le nostre azioni nei prossimi due-dieci anni ne determineranno il risultato.”
L’articolo di Robinson segue anche le dimissioni del ricercatore anthropic rivale di OpenAI Jacob Coxon, che si è dimesso dallo sviluppatore del chatbot Claude il mese scorso. Ha avvertito che l’intelligenza artificiale “potrebbe ucciderci tutti entro la fine del decennio” – e Dopo l’allarme antropico C’è più del 10% di probabilità che l’intelligenza artificiale spazzi via l’umanità nel prossimo decennio. Tuttavia, i critici di tali avvertimenti sono cauti Non scientifico Perché non possono essere verificati né falsificati.
Robinson scrive che la Silicon Valley non capisce “come gestire la tecnologia pericolosa” e “cosa significa prendersi cura delle persone”. Scrive che questa cultura interna significa che i fallimenti nella sicurezza non fanno che aumentare man mano che i sistemi diventano più capaci, avvertendo che OpenAI ha un “ottimismo sfrenato” nel risolvere i problemi non appena si presentano.
“Immaginiamo che agenti ‘canaglia’ operino come squadre di hacker (ad esempio, trattengano i sistemi informatici ospedalieri per chiedere un riscatto) ma non debbano mai dormire”, ha scritto Robinson.
Dopo la promozione della newsletter
Robinson chiede due cambiamenti in termini di sicurezza: le aziende di intelligenza artificiale faranno affidamento su competenze di sicurezza in altri campi, come il nucleare e l’aviazione, e svilupperanno una “nuova scienza” che garantirà la capacità di controllare in futuro sistemi potenti mentre operano in modo autonomo.
“Dati i pericoli odierni, i laboratori di frontiera, come le centrali nucleari o gli aeroporti affollati, devono essere gestiti con piani iterativi, attenti e dispendiosi in termini di tempo, in modo che l’errore umano occasionale e inevitabile non apra la porta al disastro”, ha scritto.
Un portavoce di OpenAI ha affermato che la società continua a “rafforzare le nostre pratiche di sicurezza e protezione per affrontare i rischi che vediamo oggi” mentre lavora per combattere i rischi creati dai futuri progressi dell’intelligenza artificiale.
“Ci assicuriamo che i nostri modelli non abbiano più capacità di quella che possiamo gestire e proteggere in sicurezza, e interrompiamo l’addestramento o disabilitiamo i modelli quando dobbiamo rallentare”, ha detto il portavoce.