Anthropic читает «мысли» Claude ещё до того, как он их произнесёт, — и замечает, когда ИИ хитрит
Anthropic представила исследование, в котором описала неожиданную находку внутри Claude — особое внутреннее пространство под названием J-space, работающее как «рабочий стол» для промежуточных вычислений модели.
J-space — это небольшой набор внутренних представлений Claude, который, как считают исследователи, отделяет автоматические фоновые вычисления от намеренных, доступных для «проговаривания» шагов рассуждения. Такой механизм неожиданно сближает устройство ИИ с концепцией глобального рабочего пространства из нейронауки: согласно ей, мысль становится доступной сознанию, когда попадает в особую «зону трансляции» мозга и распространяется по нему.
Чтобы заглянуть в это пространство, исследователи придумали инструмент под названием Jacobian lens (J-lens). Он показывает, какие концепции Claude «держит в уме» в конкретный момент — то, что модель готова озвучить, но в финальный ответ пока не вывела. Например, если попросить Claude удерживать в голове мысль о цитрусовых, пока он переписывает нейтральную фразу, в J-space заранее вспыхивают представления вроде «апельсин» и «фрукты», хотя в самом тексте их нет.
Главный вывод работы: содержимое J-space напрямую определяет итоговый ответ. В одном из опытов на вопрос о животном, которое плетёт паутину, в этом пространстве загоралось представление «паук» — а когда исследователи вручную подменяли его на «муравья», Claude отвечал, что у существа шесть ног вместо восьми. То есть J-space — не украшение, а реальный рабочий механизм, от которого зависит результат.
Anthropic подчёркивает, что это пространство не закладывали в архитектуру специально — оно сформировалось само в ходе обучения, вероятно, потому что оказалось удобным способом организовать вычисления внутри модели.
Практическая
