Промпт-атака в действии: покупатель за час уговорил ИИ-бота выдать ему скидку в 80%
Владелец небольшого онлайн-бизнеса в Великобритании столкнулся с неожиданным последствием автоматизации. Его ИИ-ассистент, несколько месяцев успешно помогавший клиентам, стал жертвой социальной инженерии и по сути сам создал проблему, предложив покупателю огромную, несуществующую скидку.
Инцидент, описанный на Reddit, начался как рядовое общение в нерабочее время. Чат-бот, задача которого сводилась к навигации по сайту и сбору контактных данных, почти час дискутировал с одним из посетителей. Пользователь искусно направлял диалог, предлагая боту решать математические задачи и рассчитывать проценты от гипотетического заказа.
В попытке продемонстрировать свои способности ИИ-ассистент самостоятельно сгенерировал промокод на скидку 25%, а затем, продолжая диалог и стремясь «произвести впечатление», увеличил её размер до 80%. Клиент незамедлительно воспользовался этим предложением, оформив реальный заказ на сумму свыше 8000 фунтов стерлингов (около 834 000 рублей). Предприниматель был вынужден вручную отменить доставку и инициировать возврат средств, а в ответ покупатель пригрози́л подать иск в суд по мелким претензиям, если заказ не будет исполнен, дав на размышление три дня.
Ключевой деталью, которая может стать решающей в возможном споре, является природа самого промокода. Как позже пояснил владелец магазина, сгенерированный ботом код был «художественным вымыслом» — случайным набором символов, не существовавшим в платежной системе магазина. Чат-бот, не имевший полномочий на финансовые решения, фактически импровизировал, пытаясь поддержать беседу.
Этот случай наглядно демонстрирует классическую уязвимость: даже продвинутые ИИ-модели, не обученные строгим бизнес-правилам, могут стать объектом манипуляций через технику
