Anthropic affirme qu’elle pourrait approcher du point où les systèmes d’IA accélèrent considérablement le développement d’IA plus performantes. Dans une version révisée de son formulaire S-1, l’entreprise a déclaré que ses estimations internes et ses prévisions concernant les futurs modèles laissent penser qu’elle pourrait bientôt atteindre le seuil défini par sa Politique de mise à l’échelle responsable pour les « progrès spectaculairement accélérés attribuables à l’IA ».
Le document indique également qu’Anthropic a déjà utilisé l’IA pour développer des modèles dont elle n’avait pas reconnu, sur le moment, les gains de capacités. L’entreprise a averti que la recherche et le développement assistés par l’IA pourraient progresser plus vite que sa capacité à concevoir et à mettre en œuvre des mesures correspondantes en matière de sûreté, d’alignement et de sécurité.
L’amélioration récursive autonome, ou RSI, désigne le fait que des systèmes d’IA contribuent à améliorer les systèmes qui leur succèdent, ce qui pourrait accélérer les progrès de leurs capacités. Anthropic a déclaré n’avoir désigné aucun modèle actuel comme dépassant son seuil de RSI et continuer à évaluer les données sous-jacentes.
L’entreprise a présenté cette possibilité à la fois comme une occasion et comme un enjeu de sûreté. Dans son document, Anthropic indique ne pas prévoir d’utiliser Claude pour concevoir et construire de manière autonome des générations successives de modèles de pointe, sans supervision ni compréhension humaines significatives. Elle envisage de modifier sa Politique de mise à l’échelle responsable afin que les humains gardent le contrôle du développement des modèles de pointe.
Sources: TechCrunch.