El profesor James C. R. Whittington y el doctor Ruairidh McLennan Battleday, cofundadores del laboratorio británico de investigación en IA Prefrontal, han publicado un método diseñado para ayudar a los sistemas de IA a procesar grandes cantidades de información de forma más eficiente. El laboratorio afirma que su enfoque Latent Sparse Attention (LSA) permite un prellenado de las capas de atención hasta 72,4 veces más rápido que la atención completa convencional con una longitud de contexto de 10 millones de tokens, con una precisión comparable.
La atención es el mecanismo que utilizan los modelos de IA para identificar información relevante en su contexto. Los investigadores de Prefrontal afirman que su coste computacional aumenta considerablemente a medida que crece dicho contexto. LSA agrupa la información por significado, en vez de buscar elementos individuales uno por uno, lo que permite al sistema localizar material relevante dentro de los grupos.
El artículo también informa de velocidades de prellenado 22,7 veces superiores a las de un enfoque de atención dispersa ya existente y de un tiempo hasta el primer token hasta 9,2 veces menor en una evaluación integral de servicio de modelos. La cifra de 72,4 veces se aplica al procesamiento de las capas de atención, no al rendimiento de un sistema de IA completo.
Este trabajo se basa en DiG-bench, un benchmark desarrollado por Battleday, Whittington y colaboradores internacionales para comprobar si los agentes de IA pueden descubrir reglas desconocidas mediante la experimentación. Sus 70 juegos interactivos exigen que los agentes exploren entornos, realicen experimentos e infieran cómo alcanzar el éxito. Al menos una persona resolvió cada juego en su primer intento, mientras que los agentes de IA más potentes no completaron una proporción considerable de los desafíos.
Prefrontal afirma que los proyectos abordan problemas relacionados: si las máquinas pueden descubrir información nueva y cómo pueden procesar el amplio conjunto de conocimientos necesario para el trabajo científico. El laboratorio está desarrollando IA inspirada en los seres humanos con el objetivo de acelerar los descubrimientos científicos.
Whittington es neurocientífico computacional e investigador de IA en la Universidad de Oxford, donde es investigador principal en el Departamento de Psicología Experimental. Battleday es científico cognitivo e investigador de IA; estudió medicina en Oxford, obtuvo un doctorado en informática en la Universidad de Princeton y posteriormente realizó investigaciones en Harvard.
Los dos investigadores también cofundaron Thinking About Thinking, una organización independiente sin ánimo de lucro dedicada a la investigación y la educación, establecida en 2020. Conecta a investigadores y talentos emergentes mediante eventos y programas. Está previsto que la organización celebre en Londres, del 25 al 27 de noviembre, la AE Global Summit 2026: Open Problems for AI.
Fuentes: Sifted.