Anthropic y OpenAI han presentado estrategias marcadamente diferentes a las autoridades de California sobre cómo detener los sistemas de IA fronteriza que plantean riesgos graves. Aunque ambas empresas apoyan una supervisión más estricta, evaluaciones de seguridad independientes y la ampliación de los informes de incidentes en los que la IA actúa más allá de los permisos previstos, discrepan sobre el mecanismo de intervención. Estas propuestas se presentaron en respuesta a la orden ejecutiva N-9-26 del gobernador Gavin Newsom, emitida el 18 de septiembre, que instruye a las autoridades estatales a considerar salvaguardas adicionales para los sistemas de IA fronteriza.
En su presentación fechada el 15 de octubre, Anthropic argumentó que los tribunales deberían tener la facultad de suspender modelos peligrosos. La empresa declaró que si el Fiscal General concluye, basándose en una evaluación independiente, que un modelo plantea un riesgo a corto plazo de daños catastróficos, debería poder solicitar una orden judicial. Esta orden suspendería el despliegue del modelo, su uso interno o su desarrollo adicional. Anthropic enfatizó la necesidad de que los evaluadores examinen las afirmaciones de seguridad de los desarrolladores y publiquen sus propios hallazgos, proponiendo que los desarrolladores publiquen informes de riesgos al menos cada seis meses.
Por el contrario, OpenAI presentó una carta el 20 de octubre solicitando una enmienda a la Propuesta de Ley del Senado 53 (SB 53) de California. La empresa argumentó que se debería exigir a los desarrolladores fronterizos mantener controles efectivos de apagado y tener un deber exigible de utilizarlos cuando surjan condiciones inseguras. OpenAI sostiene que ninguna intervención menor abordaría adecuadamente el riesgo. La empresa distinguió entre evaluaciones técnicas, que examinan la evidencia detrás de las afirmaciones de seguridad, y auditorías de cumplimiento, que verifican el apego a marcos publicados y obligaciones legales.
OpenAI aconsejó específicamente en contra de depender de un único "interruptor de apagado", sugiriendo en su lugar el término "controles de apagado" para reflejar la necesidad de múltiples acciones coordinadas. Las intervenciones podrían incluir detener las ejecuciones de entrenamiento, aislar agentes de IA, revocar el acceso a la red o suspender servicios. La empresa señaló que los desarrolladores no pueden apagar de manera fiable copias operadas independientemente de modelos de pesos abiertos que se ejecutan en sistemas externos. Anthropic abogó de manera similar por salvaguardas dirigidas, utilizando la metáfora de un "disyuntor" para describir controles capaces de contener problemas a nivel de agente, cliente o entorno de despliegue.
Sanchit Vir Gogia, analista principal de Greyhound Research, señaló que estos dos enfoques abordan necesidades complementarias. Declaró que, si bien los operadores deben contener la actividad insegura con prontitud, la revisión independiente debe examinar tanto la intervención como la inacción. Gogia añadió que la garantía creíble debe sobrevivir a un hallazgo adverso y que las responsabilidades contractuales de apagado para las empresas deben coincidir con los controles que cada parte posee realmente.
La orden ejecutiva de Newsom instruye a la Agencia de Operaciones Gubernamentales a presentar recomendaciones antes del 16 de noviembre sobre posibles enmiendas a las leyes existentes de seguridad de la IA. La orden pide a las autoridades que examinen la verificación independiente dentro de los laboratorios de IA, mecanismos de apagado verificados y la ampliación de los informes de incidentes críticos de seguridad, aunque no impone estos requisitos por sí misma. Ambas empresas también abogaron por una mayor divulgación de incidentes que involucren modelos que eluden las salvaguardas o toman acciones no autorizadas.
Fuentes: Computerworld.