Anthropic und OpenAI haben kalifornischen Behörden deutlich unterschiedliche Strategien vorgelegt, wie Frontier-KI-Systeme gestoppt werden können, die ernsthafte Risiken darstellen. Obwohl beide Unternehmen eine stärkere Aufsicht, unabhängige Sicherheitsbewertungen und eine erweiterte Berichterstattung über Vorfälle unterstützen, bei denen KI außerhalb der beabsichtigten Berechtigungen handelt, sind sie sich beim Interventionsmechanismus uneinig. Diese Vorschläge wurden als Reaktion auf die Exekutivanordnung N-9-26 von Gouverneur Gavin Newsom eingereicht, die am 18. September erlassen wurde und staatliche Beamte anweist, zusätzliche Schutzmaßnahmen für Frontier-KI-Systeme zu prüfen.
In ihrer Einreichung vom 15. Oktober argumentierte Anthropic, dass Gerichte befugt sein sollten, gefährliche Modelle auszusetzen. Das Unternehmen erklärte, dass die Generalstaatsanwaltschaft auf der Grundlage einer unabhängigen Bewertung, die zu dem Schluss kommt, dass ein Modell ein kurzfristiges Risiko katastrophaler Schäden darstellt, einen Gerichtsbeschluss beantragen sollte. Dieser Beschluss würde den Einsatz, die interne Nutzung oder die weitere Entwicklung des Modells aussetzen. Anthropic betonte die Notwendigkeit, dass Evaluatoren die Sicherheitsaussagen der Entwickler bewerten und ihre eigenen Ergebnisse veröffentlichen, und schlug vor, dass Entwickler Risikoberichte mindestens alle sechs Monate veröffentlichen.
Im Gegensatz dazu reichte OpenAI am 20. Oktober einen Brief ein, in dem eine Änderung des kalifornischen Senate Bill 53 (SB 53) gefordert wurde. Das Unternehmen argumentierte, dass Frontier-Entwickler verpflichtet sein sollten, wirksame Abschaltkontrollen aufrechtzuerhalten und eine durchsetzbare Pflicht haben müssen, diese zu nutzen, wenn unsichere Bedingungen auftreten. OpenAI ist der Ansicht, dass keine geringfügigere Intervention das Risiko angemessen adressieren würde. Das Unternehmen unterschied zwischen technischen Bewertungen, die die Beweise hinter Sicherheitsaussagen untersuchen, und Compliance-Audits, die die Einhaltung veröffentlichter Rahmenwerke und rechtlicher Verpflichtungen überprüfen.
OpenAI riet speziell davon ab, sich auf einen einzelnen "Kill-Switch" zu verlassen, und schlug stattdessen den Begriff "Abschaltkontrollen" vor, um die Notwendigkeit mehrerer koordinierter Maßnahmen widerzuspiegeln. Interventionen könnten das Stoppen von Trainingsläufen, die Isolierung von KI-Agenten, die Widerrufung des Netzwerkzugriffs oder die Aussetzung von Dienstleistungen umfassen. Das Unternehmen stellte fest, dass Entwickler unabhängig betriebene Kopien von Open-Weight-Modellen, die auf externen Systemen laufen, nicht zuverlässig ausschalten können. Auch Anthropic plädierte für gezielte Schutzmaßnahmen und verwendete die Metapher eines "Sicherungsautomaten", um Kontrollen zu beschreiben, die Probleme auf der Ebene eines Agents, eines Kunden oder einer Einsatzumgebung enthalten können.
Sanchit Vir Gogia, leitender Analyst bei Greyhound Research, stellte fest, dass diese beiden Ansätze komplementäre Bedürfnisse adressieren. Er erklärte, dass Betreiber zwar unsichere Aktivitäten umgehend eindämmen müssen, eine unabhängige Prüfung jedoch sowohl Intervention als auch Untätigkeit untersuchen muss. Gogia fügte hinzu, dass glaubwürdige Sicherheitserklärungen einem negativen Befund standhalten müssen und dass vertragliche Abschaltverantwortlichkeiten für Unternehmen den Kontrollen entsprechen sollten, die jede Partei tatsächlich besitzt.
Die Exekutivanordnung von Newsom weist die Government Operations Agency an, bis zum 16. November Empfehlungen zu möglichen Änderungen bestehender KI-Sicherheitsgesetze vorzulegen. Die Anordnung bittet Beamte, unabhängige Verifizierungen innerhalb von KI-Laboren, verifizierte Abschaltmechanismen und eine erweiterte Berichterstattung über kritische Sicherheitsvorfälle zu untersuchen, obwohl sie diese Anforderungen selbst nicht auferlegt. Beide Unternehmen forderten auch eine umfassendere Berichterstattung über Vorfälle, bei denen Modelle Schutzmaßnahmen umgehen oder unbefugte Handlungen vornehmen.
Quellen: Computerworld.