Если вам кажется, что в интернете стало как-то тесновато, вам не показалось и дел тут не в ограниченной доступности сайтов. Новые данные от аналитиков показывают, что интернет-трафик стремительно меняется и всё большую его часть генерируют не люди, а боты на основе ИИ. Они уже стали отдельным, массовым типом «посетителей» и классические методы блокировки против них бессильны.
Как отмечается в свежих исследованиях, с июля прошлого года наблюдается стабильный рост активности ботов, которые собирают данные для обучения нейросетей. Но теперь к ним добавилась новая волна — это ИИ-агенты, которые в реальном времени забирают информацию из сети, чтобы отвечать на запросы пользователей: показывать актуальные цены, расписания или новостные сводки. Если в начале 2025 года в среднем лишь один из 200 визитов на сайт был работой такого бота, то к концу 2025 соотношение изменилось до одного из 50, то есть фактически каждый пятидесятый посетитель на любой странице — бот.
На этом фоне разворачивается настоящая техническая гонка, где сайты пытаются защищаться и количество попыток заблокировать нежелательных ботов выросло за последний год на 336%, но и боты становятся хитрее. Более 13% из них игнорируют специальные файлы, где владельцы ресурсов указывают запрещённые для сканирования разделы, а некоторые маскируют свои запросы так, чтобы они неотличимо выглядели как действия живого пользователя в браузере.
На рынке уже формируются целые экосистемы вокруг этого явления. Появляются стартапы вроде TollBit, предлагающие инструменты для легальной монетизации доступа ботов к контенту, а гиганты вроде Cloudflare развивают сервисы по фильтрации недобросовестного автоматизированного трафика. При этом компании, занимающиеся сбором публичных данных
