Il professor James C. R. Whittington e il dottor Ruairidh McLennan Battleday, cofondatori del laboratorio britannico di ricerca sull’IA Prefrontal, hanno pubblicato un metodo progettato per aiutare i sistemi di IA a elaborare in modo più efficiente quantità molto grandi di informazioni. Il laboratorio afferma che il suo approccio Latent Sparse Attention (LSA) offre un prefill dei livelli di attenzione fino a 72,4 volte più veloce rispetto all’attenzione completa convenzionale, con una lunghezza del contesto di 10 milioni di token, e una precisione comparabile.

L’attenzione è il meccanismo che i modelli di IA usano per individuare le informazioni rilevanti nel proprio contesto. Secondo i ricercatori di Prefrontal, il costo computazionale aumenta notevolmente quando il contesto si allunga. LSA raggruppa le informazioni in base al significato, invece di cercare in sequenza tra i singoli elementi, permettendo così al sistema di individuare il materiale rilevante all’interno dei gruppi.

L’articolo riporta inoltre velocità di prefill 22,7 volte superiori rispetto a un approccio di attenzione sparsa già esistente e un tempo fino a 9,2 volte inferiore per generare il primo token in una valutazione end-to-end della distribuzione di modelli. Il valore di 72,4 volte si riferisce all’elaborazione dei livelli di attenzione, non alle prestazioni di un intero sistema di IA.

Il lavoro fa seguito a DiG-bench, un benchmark sviluppato da Battleday, Whittington e collaboratori internazionali per verificare se gli agenti di IA siano in grado di scoprire regole sconosciute attraverso la sperimentazione. I suoi 70 giochi interattivi richiedono agli agenti di esplorare ambienti, condurre esperimenti e dedurre come riuscire. Ogni gioco è stato risolto al primo tentativo da almeno un partecipante umano, mentre gli agenti di IA più efficaci non hanno completato una parte consistente delle sfide.

Prefrontal afferma che i progetti affrontano questioni correlate: se le macchine possano scoprire nuove informazioni e come possano elaborare l’ampio patrimonio di conoscenze necessario per il lavoro scientifico. Il laboratorio sta sviluppando un’IA ispirata agli esseri umani con l’obiettivo di accelerare la scoperta scientifica.

Whittington è un neuroscienziato computazionale e ricercatore di IA all’Università di Oxford, dove è responsabile di un gruppo di ricerca nel Dipartimento di Psicologia sperimentale. Battleday è uno scienziato cognitivo e ricercatore di IA: ha studiato medicina a Oxford, ha conseguito un dottorato di ricerca in informatica alla Princeton University e in seguito ha svolto attività di ricerca ad Harvard.

I due ricercatori sono anche cofondatori di Thinking About Thinking, un’organizzazione indipendente senza scopo di lucro dedicata alla ricerca e all’istruzione, fondata nel 2020. L’organizzazione mette in contatto ricercatori e talenti emergenti attraverso eventi e programmi. È previsto che organizzi a Londra l’AE Global Summit 2026: Open Problems for AI, dal 25 al 27 novembre.

Fonti: Sifted.