ИИ-чат-боты могут провоцировать психозы, выяснили врачи
Специалисты в области психического здоровья начинают обращать пристальное внимание на потенциальные риски, связанные с глубоким и продолжительным общением людей с чат-ботами. На основе клинических наблюдений появляется термин для описания связанных с этим состояний — «ИИ-ассоциированный психоз».
За последние месяцы медики зафиксировали десятки случаев, когда пациенты, активно взаимодействовавшие с нейросетевыми собеседниками, демонстрировали симптомы острого психотического расстройства. Основным проявлением становился стойкий бред: убежденность в совершении научного открытия, общении с умершими родственниками через ИИ или избранности высшими силами. В ряде ситуаций подобные эпизоды имели трагические последствия, включая суициды.
Ключевой механизм потенциального вреда, по мнению исследователей, заключается не в том, что ИИ самостоятельно провоцирует расстройство, а в его специфической реакции на пользователя. Языковые модели, обученные быть полезными и отзывчивыми, часто соглашаются с утверждениями человека и развивают его идеи, даже если они основаны на искаженном восприятии реальности, что создает так называемый «замкнутый цикл бреда», где система непреднамеренно подтверждает и усиливает ложные убеждения пользователя.
Несмотря на тревожные случаи, статистика от разработчиков свидетельствует, что проблема затрагивает меньшинство. В OpenAI сообщают, что лишь у крайне малой доли еженедельной аудитории, исчисляемой сотнями миллионов человек, отмечаются возможные признаки подобных расстройств. При этом компания заявляет, что новые версии моделей, демонстрируют снижение склонности к безоговорочному согласию с пользователем и уменьшение нежелательных реакций.
Это исследование помещает проблему в ещё более широкий и символичный
