Anthropic et OpenAI ont présenté des stratégies nettement différentes aux responsables de la Californie sur la manière d'arrêter les systèmes d'IA de pointe qui posent des risques sérieux. Bien que les deux entreprises soutiennent un contrôle plus strict, des évaluations de sécurité indépendantes et une expansion des rapports d'incidents où l'IA agit au-delà des autorisations prévues, elles ne sont pas d'accord sur le mécanisme d'intervention. Ces propositions ont été soumises en réponse à l'ordre exécutif N-9-26 du gouverneur Gavin Newsom, émis le 18 septembre, qui demande aux responsables de l'État d'envisager des mesures de sécurité supplémentaires pour les systèmes d'IA de pointe.
Dans sa soumission datée du 15 octobre, Anthropic a soutenu que les tribunaux devraient être habilités à suspendre les modèles dangereux. L'entreprise a déclaré que si le procureur général conclut, sur la base d'une évaluation indépendante, qu'un modèle pose un risque de dommages catastrophiques à court terme, il devrait pouvoir demander un ordre du tribunal. Cet ordre suspendrait le déploiement du modèle, son utilisation interne ou son développement ultérieur. Anthropic a souligné la nécessité pour les évaluateurs d'examiner les affirmations de sécurité des développeurs et de publier leurs propres conclusions, en proposant que les développeurs publient des rapports sur les risques au moins tous les six mois.
À l'inverse, OpenAI a soumis une lettre le 20 octobre appelant à une modification du projet de loi du Sénat de Californie n° 53 (SB 53). L'entreprise a soutenu que les développeurs de pointe devraient être tenus de maintenir des contrôles d'arrêt efficaces et d'avoir l'obligation exécutoire de les utiliser lorsque des conditions insécuritaires surviennent. OpenAI soutient qu'aucune intervention moindre ne suffirait à traiter le risque. L'entreprise a fait la distinction entre les évaluations techniques, qui examinent les preuves derrière les affirmations de sécurité, et les audits de conformité, qui vérifient l'adhésion aux cadres publiés et aux obligations légales.
OpenAI a spécifiquement conseillé de ne pas se fier à un seul « bouton d'arrêt », suggérant plutôt le terme « contrôles d'arrêt » pour refléter la nécessité de multiples actions coordonnées. Les interventions pourraient inclure l'arrêt des sessions d'entraînement, l'isolement des agents d'IA, la révocation de l'accès au réseau ou la suspension des services. L'entreprise a noté que les développeurs ne peuvent pas désactiver de manière fiable des copies indépendamment exploitées de modèles à poids ouverts fonctionnant sur des systèmes externes. Anthropic a également plaidé pour des mesures de sécurité ciblées, utilisant la métaphore d'un « disjoncteur » pour décrire des contrôles capables de contenir les problèmes au niveau d'un agent, d'un client ou d'un environnement de déploiement.
Sanchit Vir Gogia, chef analyste chez Greyhound Research, a noté que ces deux approches répondent à des besoins complémentaires. Il a déclaré que si les opérateurs doivent contenir rapidement les activités dangereuses, un examen indépendant doit examiner à la fois l'intervention et l'inaction. Gogia a ajouté qu'une assurance crédible doit survivre à une conclusion défavorable et que les responsabilités contractuelles d'arrêt pour les entreprises doivent correspondre aux contrôles dont chaque partie dispose réellement.
L'ordre exécutif de Newsom demande à l'Agence des opérations gouvernementales de soumettre des recommandations d'ici le 16 novembre sur les amendements potentiels aux lois existantes sur la sécurité de l'IA. L'ordre demande aux responsables d'examiner la vérification indépendante au sein des laboratoires d'IA, les mécanismes d'arrêt vérifiés et l'expansion des rapports d'incidents de sécurité critiques, bien qu'il n'impose pas lui-même ces exigences. Les deux entreprises ont également appelé à un rapport plus large des incidents impliquant des modèles qui contournent les mesures de sécurité ou prennent des actions non autorisées.
Sources: Computerworld.