A Anthropic está desenvolvendo o FlashProve, um sistema de código aberto destinado a verificar qual modelo de IA produziu determinada resposta. Em uma publicação no blog divulgada na terça-feira, os pesquisadores o descreveram como uma forma de fornecer “inferência verificável”: uma prova criptográfica que vincula uma saída a um modelo específico.
O sistema foi projetado para dificultar que as respostas de um modelo sejam apresentadas como se fossem de outro, inclusive quando a substituição é feita pela empresa que opera o modelo. Os pesquisadores afirmam que ele poderia ajudar os usuários a detectar situações como um provedor trocar secretamente para um modelo mais barato ou usar um modelo mais caro para melhorar o desempenho divulgado.
O FlashProve também poderia ajudar a verificar alegações de que determinado modelo foi usado em uma tarefa. Os pesquisadores da Anthropic citam exemplos como uma biblioteca de software que supostamente foi analisada por um modelo avançado em busca de vulnerabilidades de segurança, ou um plano de negócios que supostamente foi avaliado por um modelo adequado.
Para que a verificação funcione, os laboratórios de IA publicariam uma impressão digital de cada modelo que lançassem. Essa impressão digital poderia ser associada às saídas e verificada criptograficamente, sem revelar os pesos do modelo — os valores internos que moldam seu comportamento. Os pesquisadores afirmam que o sistema foi projetado para ser suficientemente leve para que as verificações possam ser executadas em um dispositivo local.
A Anthropic publicou no GitHub, sob uma licença de código aberto, uma especificação técnica e código funcional de partes do FlashProve. A pesquisa ainda está em andamento, e a empresa afirma que não tem planos de implementar o sistema na Anthropic ou em qualquer outro lugar. Os pesquisadores apresentaram a publicação como um trabalho intermediário e convidaram outras pessoas a examiná-lo e aprimorá-lo.
Fontes: TechCrunch.