Anthropic e OpenAI hanno presentato strategie nettamente diverse alle autorità californiane su come fermare i sistemi di IA di frontiera che comportano rischi gravi. Sebbene entrambe le aziende sostengano una sorveglianza più rigorosa, valutazioni di sicurezza indipendenti e un'espansione della segnalazione degli incidenti in cui l'IA agisce oltre i permessi previsti, non sono d'accordo sul meccanismo di intervento. Queste proposte sono state presentate in risposta all'ordine esecutivo N-9-26 del governatore Gavin Newsom, emesso il 18 settembre, che incarica le autorità statali di considerare misure di sicurezza aggiuntive per i sistemi di IA di frontiera.
Nella sua presentazione datata 15 ottobre, Anthropic ha sostenuto che i tribunali dovrebbero essere autorizzati a sospendere modelli pericolosi. L'azienda ha dichiarato che se il Procuratore Generale conclude, sulla base di una valutazione indipendente, che un modello comporta un rischio imminente di danni catastrofici, dovrebbe poter richiedere un ordine del tribunale. Tale ordine sospenderebbe il dispiegamento del modello, l'uso interno o lo sviluppo ulteriore. Anthropic ha sottolineato la necessità che i valutatori esaminino le affermazioni di sicurezza degli sviluppatori e pubblichino le proprie conclusioni, proponendo che gli sviluppatori pubblichino rapporti sui rischi almeno ogni sei mesi.
Al contrario, OpenAI ha inviato una lettera il 20 ottobre chiedendo un emendamento al Progetto di Legge del Senato della California n. 53 (SB 53). L'azienda ha sostenuto che gli sviluppatori di frontiera dovrebbero essere tenuti a mantenere controlli di arresto efficaci e avere un dovere esigibile di utilizzarli quando si verificano condizioni insicure. OpenAI sostiene che nessun intervento minore sarebbe adeguato per affrontare il rischio. L'azienda ha distinto tra valutazioni tecniche, che esaminano le prove dietro le affermazioni di sicurezza, e audit di conformità, che verificano l'aderenza a framework pubblicati e obblighi legali.
OpenAI ha specificamente sconsigliato di fare affidamento su un singolo "interruttore di spegnimento", suggerendo invece il termine "controlli di arresto" per riflettere la necessità di molteplici azioni coordinate. Gli interventi potrebbero includere l'arresto delle sessioni di addestramento, l'isolamento degli agenti di IA, la revoca dell'accesso alla rete o la sospensione dei servizi. L'azienda ha notato che gli sviluppatori non possono affidabilmente spegnere copie operate indipendentemente di modelli a pesi aperti in esecuzione su sistemi esterni. Anche Anthropic ha sostenuto misure di sicurezza mirate, utilizzando la metafora di un "interruttore magnetotermico" per descrivere controlli in grado di contenere i problemi a livello di agente, cliente o ambiente di dispiegamento.
Sanchit Vir Gogia, analista capo di Greyhound Research, ha notato che questi due approcci affrontano esigenze complementari. Ha dichiarato che, sebbene gli operatori debbano contenere prontamente le attività insicure, la revisione indipendente deve esaminare sia l'intervento che l'inazione. Gogia ha aggiunto che una garanzia credibile deve sopravvivere a un esito sfavorevole e che le responsabilità contrattuali di arresto per le imprese dovrebbero corrispondere ai controlli che ciascuna parte possiede effettivamente.
L'ordine esecutivo di Newsom incarica l'Agenzia delle Operazioni Governative di presentare raccomandazioni entro il 16 novembre su potenziali emendamenti alle leggi esistenti sulla sicurezza dell'IA. L'ordine chiede alle autorità di esaminare la verifica indipendente all'interno dei laboratori di IA, meccanismi di arresto verificati e un'espansione della segnalazione degli incidenti di sicurezza critici, sebbene non imponga di per sé questi requisiti. Entrambe le aziende hanno inoltre chiesto una segnalazione più ampia degli incidenti che coinvolgono modelli che eludono le misure di sicurezza o compiono azioni non autorizzate.
Fonti: Computerworld.