Расформирована команда OpenAI, призванная защищать человечество от рисков ИИ

playground.ru:

В прошлом году компания OpenAI, известная своими передовыми разработками в области искусственного интеллекта, создала специальную команду Superalignment. Её целью было обеспечение контроля и управления будущими системами ИИ, потенциально способными угрожать человечеству. Однако спустя менее года эта команда прекратила своё существование.

По официальной версии OpenAI, группа Superalignment была глубже интегрирована в общие исследовательские усилия компании для достижения целей безопасности. Но серия твитов Яна Лейке, одного из лидеров распущенной команды, пролила свет на внутренние противоречия между группой безопасности и остальной частью OpenAI.

Лейке, недавно покинувший компанию, заявил, что команда Superalignment испытывала трудности с получением ресурсов для проведения исследований. По его словам, за последние годы в OpenAI культура и процессы обеспечения безопасности отошли на второй план, уступив место ярким продуктам. Лейке подчеркнул, что создание сверхразумных машин — по своей сути опасное занятие, и OpenAI несёт огромную ответственность перед человечеством.

Уход Лейке произошёл вскоре после того, как о своём уходе объявил главный научный сотрудник OpenAI Илья Суцкевер, также входивший в команду Superalignment и являвшийся одним из сооснователей компании. В последние месяцы команду покинули и другие сотрудники, в том числе двое исследователей, уволенных в апреле за предполагаемую утечку информации.

Ранее OpenAI обещала выделить 20% своей вычислительной мощности в течение следующих четырёх лет на решение проблемы контроля мощных систем ИИ. Однако, по словам Лейке, команде Superalignment приходилось бороться за эти ресурсы, и проводить важные исследования по безопасности становилось всё сложнее. Он отметил, что в