A Anthropic e a OpenAI apresentaram estratégias marcadamente diferentes às autoridades da Califórnia sobre como parar sistemas de IA de fronteira que representam riscos graves. Embora ambas as empresas apoiem uma supervisão mais forte, avaliações de segurança independentes e um relatório expandido de incidentes em que a IA age além das permissões pretendidas, elas discordam quanto ao mecanismo de intervenção. Essas propostas foram submetidas em resposta à ordem executiva N-9-26 do governador Gavin Newsom, emitida em 18 de setembro, que instrui os funcionários estaduais a considerar salvaguardas adicionais para sistemas de IA de fronteira.
Em sua submissão datada de 15 de outubro, a Anthropic argumentou que os tribunais devem ser capacitados para suspender modelos perigosos. A empresa afirmou que, se o Procurador-Geral concluir, com base em uma avaliação independente, que um modelo representa um risco de dano catastrófico no curto prazo, ele deve poder buscar uma ordem judicial. Essa ordem suspenderia a implantação do modelo, seu uso interno ou seu desenvolvimento adicional. A Anthropic enfatizou a necessidade de os avaliadores analisarem as alegações de segurança dos desenvolvedores e publicarem suas próprias descobertas, propondo que os desenvolvedores publiquem relatórios de risco pelo menos a cada seis meses.
Por outro lado, a OpenAI enviou uma carta em 20 de outubro pedindo uma emenda ao Projeto de Lei do Senado 53 (SB 53) da Califórnia. A empresa argumentou que os desenvolvedores de fronteira devem ser obrigados a manter controles eficazes de desligamento e ter um dever exigível de utilizá-los quando surgirem condições inseguras. A OpenAI sustenta que nenhuma intervenção menor abordaria adequadamente o risco. A empresa distinguiu entre avaliações técnicas, que examinam as evidências por trás das alegações de segurança, e auditorias de conformidade, que verificam a adesão a estruturas publicadas e obrigações legais.
A OpenAI aconselhou especificamente contra a dependência de um único "interruptor de desligamento", sugerindo em vez disso o termo "controles de desligamento" para refletir a necessidade de múltiplas ações coordenadas. As intervenções poderiam incluir parar execuções de treinamento, isolar agentes de IA, revogar o acesso à rede ou suspender serviços. A empresa observou que os desenvolvedores não podem desligar de forma confiável cópias operadas independentemente de modelos de pesos abertos executados em sistemas externos. A Anthropic defendeu igualmente salvaguardas direcionadas, usando a metáfora de um "disjuntor" para descrever controles capazes de conter problemas no nível de um agente, cliente ou ambiente de implantação.
Sanchit Vir Gogia, analista-chefe da Greyhound Research, observou que essas duas abordagens atendem a necessidades complementares. Ele afirmou que, embora os operadores devam conter atividades inseguras prontamente, uma revisão independente deve examinar tanto a intervenção quanto a inação. Gogia acrescentou que a garantia credível deve sobreviver a uma descoberta adversa e que as responsabilidades contratuais de desligamento para empresas devem corresponder aos controles que cada parte realmente possui.
A ordem executiva de Newsom instrui a Agência de Operações Governamentais a apresentar recomendações até 16 de novembro sobre possíveis emendas às leis existentes de segurança da IA. A ordem pede aos funcionários que examinem a verificação independente dentro dos laboratórios de IA, mecanismos de desligamento verificados e um relatório expandido de incidentes críticos de segurança, embora ela mesma não imponha esses requisitos. Ambas as empresas também pediram um relatório mais amplo de incidentes envolvendo modelos que contornam salvaguardas ou tomam ações não autorizadas.
Fontes: Computerworld.