В Anthropic заметили любопытную особенность модели Claude. При разборе её внутренней архитектуры специалисты наткнулись на структуру, которая по принципу работы напоминает один из механизмов человеческого мышления.
Её назвали J-space и считают местом, где нейросеть на время удерживает самые значимые идеи, пока решает сложные задачи. Находку авторы связывают с теорией глобального рабочего пространства, хорошо знакомой нейронауке. По этой концепции человеческий мозг разом ведёт огромное число процессов, а самая значимая информация попадает в отдельную область, где становится доступной для анализа, размышлений и принятия решений.
Схожий принцип, по словам исследователей, удалось разглядеть и внутри Claude. Чтобы наблюдать за поведением модели, специалисты собрали инструмент J-lens, который показывает, какие понятия и внутренние представления оживают при обработке разных запросов.
В ходе испытаний Claude просили держать в уме отдельные идеи, скажем понятие справедливости. Дальше учёные смотрели, как эти сведения проникают во внутреннее пространство модели. В других опытах правка содержимого J-space меняла ответы нейросети на сложных задачах, среди которых был и разбор шахматных позиций.
Самым необычным вышло происхождение механизма. В Anthropic пояснили, что J-space никто специально не проектировал. По их данным, структура сложилась сама во время обучения модели, потому что такая организация информации оказалась выгоднее прочих для сложных запросов.
Авторы работы допускают, что перед нами пример своеобразной конвергентной эволюции искусственного интеллекта. Как в природе разные организмы сами по себе выходят к похожим решениям одних и тех же задач, так и нынешние нейросети, судя по всему, самостоятельно вырабатывают удачные методы внутренней организации сведений без прямого вмешательства разработчиков.
