Anthropic sta sviluppando FlashProve, un sistema open source pensato per verificare quale modello di IA abbia prodotto una determinata risposta. In un post sul blog pubblicato martedì, i ricercatori lo hanno descritto come un modo per fornire un’“inferenza dimostrabile”: una prova crittografica che collega un risultato a un modello specifico.
Il sistema è progettato per rendere più difficile spacciare le risposte di un modello per quelle di un altro, anche quando la sostituzione è effettuata dall’azienda che gestisce il modello. Secondo i ricercatori, potrebbe aiutare gli utenti a individuare casi come un fornitore che passa di nascosto a un modello più economico o che ne usa uno più costoso per migliorare le prestazioni dichiarate.
FlashProve potrebbe inoltre aiutare a verificare le affermazioni secondo cui per un’attività è stato usato un determinato modello. I ricercatori di Anthropic citano, tra gli esempi, una libreria software che si dice sia stata esaminata da un modello avanzato per individuare vulnerabilità di sicurezza, oppure un piano aziendale che si dice sia stato valutato da un modello adeguato.
Perché la verifica funzioni, i laboratori di IA pubblicherebbero un’impronta digitale per ogni modello rilasciato. L’impronta potrebbe essere associata ai risultati e verificata crittograficamente, senza rivelare i pesi del modello, cioè i valori interni che ne determinano il comportamento. I ricercatori affermano che il sistema è pensato per essere abbastanza leggero da permettere l’esecuzione dei controlli su un dispositivo locale.
Anthropic ha pubblicato su GitHub, con una licenza open source, una specifica tecnica e il codice funzionante per alcune parti di FlashProve. La ricerca è ancora in corso e l’azienda afferma di non avere piani per implementare il sistema presso Anthropic o altrove. I ricercatori hanno presentato questa pubblicazione come un lavoro intermedio e hanno invitato altri a esaminarlo e migliorarlo.
Fonti: TechCrunch.