Le professeur James C. R. Whittington et le Dr Ruairidh McLennan Battleday, cofondateurs du laboratoire britannique de recherche en IA Prefrontal, ont publié une méthode conçue pour aider les systèmes d’IA à traiter plus efficacement de très grandes quantités d’informations. Le laboratoire affirme que son approche Latent Sparse Attention (LSA) permet un préremplissage des couches d’attention jusqu’à 72,4 fois plus rapide que l’attention complète conventionnelle pour un contexte de 10 millions de jetons, avec une précision comparable.
L’attention est le mécanisme que les modèles d’IA utilisent pour repérer les informations pertinentes dans leur contexte. Les chercheurs de Prefrontal indiquent que son coût de calcul augmente considérablement à mesure que ce contexte s’allonge. LSA regroupe les informations par sens, plutôt que de passer en revue les éléments un à un, ce qui permet au système de repérer les éléments pertinents au sein de groupes.
L’article fait également état de vitesses de préremplissage 22,7 fois supérieures à celles d’une méthode existante d’attention creuse et d’un temps jusqu’au premier jeton jusqu’à 9,2 fois plus rapide lors d’une évaluation de bout en bout du service d’un modèle. Le chiffre de 72,4 fois concerne le traitement des couches d’attention, et non les performances d’un système d’IA dans son ensemble.
Ces travaux font suite à DiG-bench, un benchmark mis au point par Battleday, Whittington et des collaborateurs internationaux pour évaluer si des agents d’IA peuvent découvrir des règles inconnues par l’expérimentation. Ses 70 jeux interactifs demandent aux agents d’explorer des environnements, de mener des expériences et de déduire comment réussir. Au moins un participant humain a résolu chaque jeu lors d’une première tentative, tandis que les agents d’IA les plus performants n’ont pas réussi une part importante des défis.
Prefrontal affirme que ces projets abordent des problèmes connexes : les machines peuvent-elles découvrir de nouvelles informations et comment peuvent-elles traiter le vaste ensemble de connaissances nécessaires aux travaux scientifiques ? Le laboratoire développe une IA inspirée de l’humain dans le but d’accélérer les découvertes scientifiques.
Whittington est neuroscientifique computationnel et chercheur en IA à l’Université d’Oxford, où il est chercheur principal au département de psychologie expérimentale. Battleday est spécialiste des sciences cognitives et chercheur en IA. Il a étudié la médecine à Oxford, obtenu un doctorat en informatique à l’Université de Princeton, puis mené des recherches à Harvard.
Les deux chercheurs ont également cofondé Thinking About Thinking, une organisation indépendante à but non lucratif consacrée à la recherche et à l’éducation, créée en 2020. Elle met en relation des chercheurs et des talents émergents grâce à des événements et des programmes. L’organisation doit tenir l’AE Global Summit 2026: Open Problems for AI à Londres, du 25 au 27 novembre.
Sources: Sifted.