Anthropic afirma que podría estar acercándose a un punto en el que los sistemas de IA aceleren significativamente el desarrollo de IA más capaz. En una versión revisada de su presentación S-1, la empresa dijo que sus estimaciones internas y sus expectativas sobre futuros modelos indican que pronto podría cumplir la definición de su Política de Escalamiento Responsable de «progreso drásticamente acelerado atribuible a la IA».
La presentación también señala que Anthropic ha utilizado anteriormente la IA para desarrollar modelos cuyas mejoras de capacidad no reconoció en ese momento. La empresa advirtió que la investigación y el desarrollo asistidos por IA podrían avanzar más rápido que su capacidad para desarrollar e implementar medidas correspondientes de seguridad, alineación y protección.
La automejora recursiva, o RSI, se refiere a sistemas de IA que ayudan a mejorar los sistemas que los suceden, lo que podría acelerar los avances en capacidad. Anthropic dijo que no ha clasificado ningún modelo actual como uno que supere su umbral de RSI y que todavía está evaluando los datos subyacentes.
La empresa describió esta posibilidad como una oportunidad y, a la vez, como un motivo de preocupación en materia de seguridad. Según la presentación, Anthropic no prevé utilizar Claude para diseñar y construir de forma autónoma sucesivas generaciones de modelos de frontera sin una supervisión o comprensión humana significativa. Está considerando cambios en su Política de Escalamiento Responsable para mantener a las personas al mando del desarrollo de modelos de frontera.
Fuentes: TechCrunch.