A Anthropic diz que pode estar se aproximando de um ponto em que os sistemas de IA acelerem significativamente o desenvolvimento de IAs mais capazes. Em uma versão revisada de um documento S-1, a empresa afirmou que suas estimativas internas e expectativas para modelos futuros sugerem que poderá em breve atingir a definição, em sua Política de Escalonamento Responsável, de “progresso drasticamente acelerado atribuível à IA”.
O documento também afirma que a Anthropic já usou IA para desenvolver modelos cujos ganhos de capacidade não reconheceu na época. A empresa alertou que a pesquisa e o desenvolvimento assistidos por IA podem avançar mais rápido do que sua capacidade de desenvolver e implementar medidas correspondentes de segurança, alinhamento e proteção.
O autoaperfeiçoamento recursivo, ou RSI, refere-se a sistemas de IA que ajudam a aprimorar os sistemas que vêm depois deles, potencialmente acelerando os avanços em capacidade. A Anthropic afirmou que não designou nenhum modelo atual como tendo ultrapassado seu limiar de RSI e que ainda está avaliando os dados subjacentes.
A empresa descreveu essa possibilidade como uma oportunidade e também como uma preocupação de segurança. O documento afirma que a Anthropic não espera usar o Claude para projetar e construir, de forma autônoma, gerações sucessivas de modelos de fronteira sem supervisão ou compreensão humana significativa. A empresa está considerando mudanças em sua Política de Escalonamento Responsável para manter os humanos no controle do desenvolvimento de modelos de fronteira.
Fontes: TechCrunch.