Professor James C. R. Whittington und Dr. Ruairidh McLennan Battleday, Mitgründer des britischen KI-Forschungslabors Prefrontal, haben eine Methode veröffentlicht, die KI-Systemen helfen soll, sehr große Informationsmengen effizienter zu verarbeiten. Laut dem Labor ermöglicht der Ansatz Latent Sparse Attention (LSA) bei einer Kontextlänge von 10 Millionen Tokens ein bis zu 72,4-mal schnelleres Prefill in Aufmerksamkeitslayern als herkömmliche vollständige Aufmerksamkeit – bei vergleichbarer Genauigkeit.

Aufmerksamkeit ist der Mechanismus, mit dem KI-Modelle relevante Informationen in ihrem Kontext erkennen. Laut den Forschenden von Prefrontal steigen die Rechenkosten erheblich, wenn dieser Kontext wächst. LSA gruppiert Informationen nach ihrer Bedeutung, anstatt einzelne Elemente der Reihe nach zu durchsuchen. So kann das System relevantes Material innerhalb von Clustern finden.

Die Arbeit berichtet außerdem von Prefill-Geschwindigkeiten, die 22,7-mal höher sind als bei einem bestehenden Sparse-Attention-Ansatz, sowie von einer bis zu 9,2-mal kürzeren Zeit bis zum ersten Token in einer End-to-End-Evaluierung des Modellbetriebs. Der Faktor 72,4 bezieht sich auf die Verarbeitung in Aufmerksamkeitslayern, nicht auf die Leistung eines gesamten KI-Systems.

Der Arbeit ging DiG-bench voraus, ein von Battleday, Whittington und internationalen Mitarbeitenden entwickelter Benchmark, mit dem geprüft werden soll, ob KI-Agenten durch Experimente unbekannte Regeln entdecken können. Die 70 interaktiven Spiele verlangen von den Agenten, Umgebungen zu erkunden, Experimente durchzuführen und abzuleiten, wie sie erfolgreich sein können. Jedes Spiel wurde beim ersten Versuch von mindestens einem Menschen gelöst, während die leistungsstärksten KI-Agenten einen beträchtlichen Teil der Herausforderungen nicht bewältigten.

Prefrontal zufolge befassen sich die Projekte mit verwandten Fragen: Können Maschinen neue Informationen entdecken, und wie können sie die große Wissensmenge verarbeiten, die für wissenschaftliche Arbeit erforderlich ist? Das Labor entwickelt von Menschen inspirierte KI mit dem Ziel, wissenschaftliche Entdeckungen zu beschleunigen.

Whittington ist Computational Neuroscientist und KI-Forscher an der University of Oxford, wo er als leitender Forschungsgruppenleiter am Department of Experimental Psychology tätig ist. Battleday ist Kognitionswissenschaftler und KI-Forscher. Er studierte Medizin in Oxford, promovierte in Informatik an der Princeton University und forschte später an der Harvard University.

Die beiden Forschenden gründeten außerdem Thinking About Thinking mit, eine unabhängige gemeinnützige Forschungs- und Bildungsorganisation, die 2020 ins Leben gerufen wurde. Sie bringt Forschende und aufstrebende Talente durch Veranstaltungen und Programme zusammen. Die Organisation plant, vom 25. bis 27. November den AE Global Summit 2026: Open Problems for AI in London abzuhalten.

Quellen: Sifted.