Вежливость мешает прогрессу: грубые ИИ-агенты лучше решают задачи
Исследователи из токийского Университета электро-коммуникаций (UEC) пришли к неожиданному открытию. Они установили, что если позволить ИИ вести себя как человек (перебивать, вмешиваться не в очередь или замолкать, когда нечего сказать), то качество его работы заметно улучшается.
В центре внимания ученых оказалось взаимодействие между несколькими ИИ-агентами, которые обычно общаются по строгому протоколу: дождались вопроса, сгенерировали ответ, передали эстафету. Японские специалисты решили проверить, что произойдет, если снять с машин эти коммуникационные «ограничители». Для эксперимента каждому агенту прописали индивидуальные черты по «большой пятерке» психологических моделей: открытость, добросовестность, экстраверсию, доброжелательность и нейротизм, но главным новшеством стал алгоритм, позволяющий модели анализировать разговор не целиком, а по ходу дела — предложение за предложением.
Система получила возможность вычислять так называемый «показатель срочности» и если агент замечал ошибку или важный аргумент в чужой речи, он мог грубо вмешаться и сразу указать на это, не дожидаясь своей очереди. Если же показатель оставался низким, модель предпочитала молчать, чтобы не засорять эфир. Эффективность такого подхода проверили на тесте MMLU — одном из самых авторитетных бенчмарков для оценки ИИ, включающем вопросы из естественных и гуманитарных наук.
По итогу в сценарии, где один из агентов изначально давал неверный ответ, точность общей дискуссии выросла с 68,7% (при строгой очередности) до 79,2%, когда системам разрешили перебивать. В более сложной ситуации, когда ошибались сразу два агента, прогресс оказался еще заметнее: точность подскочила с 37,2% до 49,5%. Как объяснил соавтор исследования профессор Юити Сей (Yuichi Sei),
