Anthropic sagt, das Unternehmen könnte sich einem Punkt nähern, an dem KI-Systeme die Entwicklung leistungsfähigerer KI erheblich beschleunigen. In einer überarbeiteten S-1-Einreichung erklärte das Unternehmen, seine internen Schätzungen und Erwartungen für künftige Modelle deuteten darauf hin, dass es bald die Definition seiner Responsible Scaling Policy für „dramatisch beschleunigten, auf KI zurückzuführenden Fortschritt“ erfüllen könnte.
In der Einreichung heißt es außerdem, Anthropic habe zuvor KI zur Entwicklung von Modellen eingesetzt, deren Leistungszuwächse das Unternehmen damals nicht erkannt habe. Das Unternehmen warnte, dass KI-gestützte Forschung und Entwicklung schneller voranschreiten könnten, als es entsprechende Maßnahmen für Sicherheit, Alignment und Schutz entwickeln und umsetzen könne.
Rekursive Selbstverbesserung (RSI) bezeichnet den Einsatz von KI-Systemen zur Verbesserung nachfolgender Systeme, wodurch sich Leistungsfortschritte möglicherweise beschleunigen. Anthropic erklärte, es habe kein aktuelles Modell als eines eingestuft, das seinen RSI-Schwellenwert überschreite, und prüfe die zugrunde liegenden Daten weiterhin.
Das Unternehmen beschrieb diese Möglichkeit sowohl als Chance als auch als Sicherheitsrisiko. In seiner Einreichung heißt es, Anthropic gehe nicht davon aus, Claude ohne sinnvolle menschliche Aufsicht oder ein entsprechendes Verständnis autonom aufeinanderfolgende Generationen von Frontier-Modellen entwerfen und entwickeln zu lassen. Das Unternehmen erwägt Änderungen an seiner Responsible Scaling Policy, um sicherzustellen, dass Menschen bei der Entwicklung von Frontier-Modellen die Kontrolle behalten.
Quellen: TechCrunch.