Anthropic está desarrollando FlashProve, un sistema de código abierto cuyo propósito es verificar qué modelo de IA produjo una respuesta determinada. En una entrada de blog publicada el martes, los investigadores lo describieron como una forma de ofrecer «inferencia verificable»: una prueba criptográfica que vincula un resultado con un modelo específico.
El sistema está diseñado para dificultar que se hagan pasar las respuestas de un modelo por las de otro, incluso cuando la sustitución la realiza la empresa que opera el modelo. Los investigadores afirman que podría ayudar a los usuarios a detectar casos como el de un proveedor que cambia en secreto a un modelo más barato o utiliza uno más caro para mejorar el rendimiento comunicado.
FlashProve también podría ayudar a comprobar las afirmaciones de que se utilizó un modelo concreto para una tarea. Los investigadores de Anthropic ofrecen ejemplos como una biblioteca de software que, según se afirma, fue revisada para detectar vulnerabilidades de seguridad por un modelo avanzado, o un plan de negocios que, según se afirma, fue evaluado por un modelo adecuado.
Para que la verificación funcione, los laboratorios de IA publicarían una huella digital para cada modelo que lanzaran. La huella podría vincularse a los resultados y comprobarse mediante métodos criptográficos, sin revelar los pesos del modelo —los valores internos que determinan su comportamiento—. Los investigadores afirman que el sistema está pensado para ser lo bastante ligero como para realizar las comprobaciones en un dispositivo local.
Anthropic ha publicado en GitHub, con una licencia de código abierto, una especificación técnica y código funcional de algunas partes de FlashProve. La investigación sigue en curso y la empresa afirma que no tiene planes de implementar el sistema en Anthropic ni en ningún otro lugar. Los investigadores presentaron la publicación como un trabajo intermedio e invitaron a otras personas a examinarlo y mejorarlo.
Fuentes: TechCrunch.