Anthropic développe FlashProve, un système open source destiné à vérifier quel modèle d’IA a produit une réponse donnée. Dans un article de blog publié mardi, les chercheurs l’ont décrit comme un moyen de fournir une « inférence vérifiable » : une preuve cryptographique qui relie une sortie à un modèle spécifique.
Le système est conçu pour compliquer l’attribution des réponses d’un modèle à un autre, notamment lorsque la substitution est effectuée par l’entreprise qui exploite le modèle. Les chercheurs indiquent qu’il pourrait aider les utilisateurs à détecter des cas tels qu’un fournisseur qui passerait secrètement à un modèle moins coûteux, ou qui en utiliserait un plus onéreux pour améliorer les performances rapportées.
FlashProve pourrait également aider à vérifier les affirmations selon lesquelles un modèle particulier a été utilisé pour une tâche. Les chercheurs d’Anthropic donnent notamment l’exemple d’une bibliothèque logicielle dont la sécurité aurait été examinée par un modèle avancé, ou d’un plan d’affaires qui aurait été évalué par un modèle adapté.
Pour que la vérification fonctionne, les laboratoires d’IA publieraient une empreinte numérique pour chaque modèle qu’ils mettent à disposition. Cette empreinte pourrait être associée aux sorties et vérifiée par des moyens cryptographiques, sans divulguer les poids du modèle — les valeurs internes qui déterminent son comportement. Les chercheurs indiquent que le système est conçu pour être suffisamment léger afin que les vérifications puissent être effectuées sur un appareil local.
Anthropic a publié sur GitHub une spécification technique et le code opérationnel de certaines parties de FlashProve, sous licence open source. Les recherches sont toujours en cours, et l’entreprise affirme n’avoir aucun projet de déployer le système chez Anthropic ou ailleurs. Les chercheurs ont présenté cette publication comme un travail intermédiaire et ont invité d’autres personnes à l’examiner et à l’améliorer.
Sources: TechCrunch.