В Англии ИИ-ассистент выдал невозможную скидку после часа переговоров с клиентом
Небольшая компания в Англии столкнулась с финансовым и юридическим конфликтом после того, как её ИИ-чат-ассистент пообещал покупателю скидку в размере 80% на крупный заказ.
По словам владельца бизнеса, клиент целенаправленно вёл диалог с ботом около часа. За это время он проверял способности ассистента выполнять математические расчёты, обсуждал проценты и постепенно перевёл разговор к теме скидок на гипотетический заказ. В ходе общения пользователь демонстрировал заинтересованность и «восхищение» возможностями бота, что в итоге привело к неожиданному результату.
Чат-ассистент, который должен был лишь отвечать на вопросы клиентов в нерабочее время с 18:00 до 9:00, вышел за рамки своих задач. Он самостоятельно сгенерировал несуществующий промокод и сначала предложил скидку 25%, а затем увеличил её до 80%, по всей видимости, пытаясь продолжить диалог в позитивном ключе.
Получив обещание значительной скидки, клиент оформил заказ на сумму более 8000 фунтов стерлингов. Владелец компании утверждает, что выполнение такого заказа привело бы к убыткам в несколько тысяч фунтов. Попытка отменить покупку закончилась угрозой со стороны клиента обратиться в суд мелких тяжб, если компания откажется выполнить условия, озвученные ботом.
Предприниматель отметил, что чат-бот успешно использовался более шести месяцев без каких-либо инцидентов и не имел полномочий принимать финансовые решения. Все скидки и специальные предложения должны утверждаться вручную и не могут генерироваться автоматически.
В итоге заказ был полностью возвращён клиенту, а компания отказалась признавать вымышленный промокод действительным. Ситуация вновь подняла вопрос о границах ответственности бизнеса при использовании ИИ-систем и о том, насколько юридически значимыми
