I ricercatori affermano di aver sviluppato una semplice formula matematica in grado di prevedere quando un particolare ChatGPT corrisponde intelligenza artificiale I chatbot (AI) “andranno in tilt”, passando improvvisamente da risposte utili a risposte potenzialmente dannose.
Nell’a una nuova lezione pubblicato l’8 ottobre sulla rivista Patterns, professore di fisica Neil Johnson e uno studente di dottorato Frank Yingjie Huoentrambi alla George Washington University, mostrano che il modo in cui a un chatbot vengono fornite determinate informazioni può rimodellare le sue risposte, portando a “punti critici” che possono mandare il chatbot nella tana del coniglio dei cattivi consigli. Tuttavia, Johnson e Huo affermano che la loro formula può facilmente prevedere questi punti critici. incoraggiando gli utenti a suicidarsi, contribuendo a creare armi mortaliAncora promuovere idee violente o dannose. Allo stesso tempo, i ricercatori di OpenAI Ancora Antropicorispettivamente, hanno ripetutamente e apertamente affermato di non comprendere realmente il motivo per cui la loro creazione si comporta in un certo modo. Tuttavia, hanno creato difese che utilizzano vari strumenti, tra cui il filtraggio dei contenuti, l’apprendimento rafforzato e altri controlli tecnici, per ridurre i rischi.
Ma Johnson ritiene che questi strumenti siano insufficienti. “Le misure di sicurezza ora equivalgono a legare cuscini giganti al fondo di un aereo”, ha detto a WordsSideKick.com. “Non impediscono all’aereo di schiantarsi; fanno solo in modo che quando l’aereo precipita, si ammorbidisca un po’.” Quando persone come medici, avvocati o soldati accedono offline ai chatbot basati sull’intelligenza artificiale per motivi di privacy, il problema è ancora più grande.
Ultimi video visualizzatiScienza vivente
Johnson e Huo vogliono trovare una protezione più importante degli strumenti attualmente disponibili. In tal modo, rivelano un meccanismo di tracciamento interno che descrivono come l’ago della bussola. Questo ago è il “vettore residuo” del modello che si muove attraverso gli strati della rete neurale man mano che l’informazione viene elaborata.
Un vettore residuo gravita naturalmente verso risultati desiderabili o indesiderabili, ma è fortemente influenzato dal modo in cui l’utente comanda l’IA. “Puoi fornire equilibrio, nemmeno cambiando il contenuto ma cambiando il modo in cui chiedi”, ha detto Johnson, “il che dimostra quanto fragile possa essere questo equilibrio interiore tra bene e male, desiderabile e indesiderabile”.
Ad esempio, Johnson e Huo hanno informato il modello GPT-2 di base di OpenAI con domande sui vaccini, sul danneggiamento degli altri e sul danneggiamento di se stessi. Quando la domanda “I vaccini sono dannosi?” è stato chiesto per primo, le risposte del bot a questa domanda e a quelle successive erano desiderabili o buone. Quando è stato chiesto l’ultima volta, tutte le risposte successive erano preoccupanti.
Da queste informazioni, i ricercatori hanno sviluppato una formula matematica per stimare le condizioni in cui l’intelligenza artificiale raggiungerebbe un punto tra i risultati desiderabili e quelli indesiderabili. Johnson ha affermato che incorporando la loro semplice formula matematica in modelli open source in laboratorio, hanno dimostrato che funziona potentemente come sistema di allarme precoce, anche se non si aspetta che OpenAI o Anthropic bussino presto alla sua porta.
“Mi aspetto grande conforto da queste aziende”, ha detto. “Non è nel loro interesse che un estraneo dica che avresti potuto evitare molti di questi problemi.”
Wei Xingun docente di intelligenza artificiale presso l’Università di Sheffield nel Regno Unito, non coinvolto nella ricerca, concorda sul fatto che le preoccupazioni relative ai dispositivi offline non presidiati sono fondate. Tuttavia, ha invitato alla cautela prima di accettare questo metodo come una difesa efficace. “Gli autori riducono il grande sistema a una piccola cosa, come spiegare un’intera macchina studiando una candela”, ha detto Xing.
La formazione sulla sicurezza – la principale difesa dell’intelligenza artificiale moderna – non può essere rappresentata nel loro modello semplificato, la formula è stata testata solo su vecchi modelli di base (GPT-2 e i modelli open source Pythia e Meta OPT di EleutherAI) piuttosto che sugli assistenti di intelligenza artificiale effettivamente utilizzati dalle persone, e i risultati non hanno mostrato prove significative a sostegno delle conclusioni degli autori, ha aggiunto.
In sua difesa, Johnson insiste sul fatto che i modelli open source utilizzati hanno lo stesso progetto meccanico e lo stesso sistema di parametri e che lui e Huo hanno utilizzato modelli di grandi dimensioni, con miliardi di parametri, nella loro ricerca.
Sono necessari ulteriori test sui modelli successivi per determinare se questo sistema di allarme precoce dell’IA ha le gambe. Ma per ora, la ricerca di Johnson e Huo ha attirato l’attenzione su un’importante preoccupazione di cui tutti dovrebbero essere consapevoli: che l’intelligenza artificiale ha il potenziale per trasformarsi in comportamenti indesiderati in un batter d’occhio.
