O professor James C. R. Whittington e o Dr. Ruairidh McLennan Battleday, cofundadores do laboratório britânico de pesquisa em IA Prefrontal, publicaram um método concebido para ajudar sistemas de IA a processar grandes volumes de informação com mais eficiência. O laboratório afirma que sua abordagem Latent Sparse Attention (LSA) proporciona um prefill das camadas de atenção até 72,4 vezes mais rápido do que a atenção completa convencional, com um comprimento de contexto de 10 milhões de tokens e precisão comparável.

A atenção é o mecanismo que os modelos de IA usam para identificar informações relevantes em seu contexto. Os pesquisadores da Prefrontal afirmam que seu custo computacional aumenta substancialmente à medida que esse contexto cresce. A LSA agrupa informações por significado, em vez de procurar itens individuais em sequência, permitindo que o sistema localize conteúdo relevante dentro de agrupamentos.

O artigo também relata velocidades de prefill 22,7 vezes maiores do que as de uma abordagem existente de atenção esparsa e um tempo até o primeiro token até 9,2 vezes menor em uma avaliação de ponta a ponta de disponibilização de modelos. O valor de 72,4 vezes se aplica ao processamento das camadas de atenção, não ao desempenho de um sistema de IA inteiro.

Este trabalho vem na sequência do DiG-bench, um benchmark desenvolvido por Battleday, Whittington e colaboradores internacionais para testar se agentes de IA conseguem descobrir regras desconhecidas por meio de experimentação. Seus 70 jogos interativos exigem que os agentes explorem ambientes, realizem experimentos e deduzam como obter sucesso. Cada jogo foi resolvido por pelo menos um participante humano na primeira tentativa, enquanto os agentes de IA mais avançados não concluíram uma parcela substancial dos desafios.

A Prefrontal afirma que os projetos abordam problemas relacionados: se as máquinas conseguem descobrir novas informações e como podem processar o vasto conjunto de conhecimentos necessário para o trabalho científico. O laboratório está desenvolvendo IA inspirada nos seres humanos com o objetivo de acelerar a descoberta científica.

Whittington é neurocientista computacional e pesquisador de IA na Universidade de Oxford, onde é investigador principal no Departamento de Psicologia Experimental. Battleday é cientista cognitivo e pesquisador de IA; estudou medicina em Oxford, concluiu um doutorado em ciência da computação na Universidade de Princeton e, posteriormente, realizou pesquisas em Harvard.

Os dois pesquisadores também cofundaram a Thinking About Thinking, uma organização independente sem fins lucrativos dedicada à pesquisa e à educação, criada em 2020. Ela conecta pesquisadores e talentos em ascensão por meio de eventos e programas. A organização deverá realizar o AE Global Summit 2026: Open Problems for AI, em Londres, de 25 a 27 de novembro.

Fontes: Sifted.