Интернет захватывают боты, и виноваты в этом пользователи ИИ

Интернет, каким мы его знали, тихо умирает. Нет, это не очередное кликбейтное заявление о вреде соцсетей. Речь идет о фундаментальном сдвиге в самой структуре трафика, который может добить независимых издателей быстрее, чем любой кризис. Свежие данные от трекеров интернет-активности рисуют неутешительную картину: уже в этом году количество ботов на сайтах может впервые превысить число живых посетителей. И самое ироничное, что спонсируем этот банкет мы с вами — каждый раз, когда задаем вопрос ChatGPT, Copilot или Perplexity.

Давайте сразу к сути. Долгое время под «ботами» мы понимали в основном парсеры поисковиков вроде Googlebot или скрейперы, которые беззастенчиво «пылесосили» контент для обучения больших языковых моделей. Это было неприятно, но предсказуемо. Однако сейчас на сцену вышел новый, куда более прожорливый зверь — RAG-боты. Аббревиатура RAG (Retrieval-Augmented Generation) — это технология, которая позволяет чат-ботам не галлюцинировать, а обращаться к актуальным данным из интернета для генерации ответа. Когда вы просите ИИ-ассистента рассказать о последних новостях или найти лучший рецепт, он не лезет в свою «память», а отправляет армию микро-ботов на десятки сайтов, чтобы собрать информацию «здесь и сейчас».

Проблема в масштабе. Одно дело — один большой скрейпер, который проходит по сайту раз в неделю. Совсем другое — миллионы одновременных запросов от пользователей по всему миру, каждый из которых порождает всплеск бот-активности. Для серверов издателя это выглядит как перманентная DDoS-атака. Инфраструктура нагружается, расходы на хостинг растут. А что взамен? Ничего. Бот не кликнет на рекламный баннер, не подпишется на рассылку и не купит премиум-доступ. Он просто заберет контент, «пережует» его и выдаст пользователю в своем интерфейсе. Сайт-источник в лучшем случае удостоится маленькой сноски где-то внизу, на которую нажмет один из ста.

Это не гипотетическая угроза. Это уже реальность, которая порождает новую холодную войну в сети. С одной стороны — технологические гиганты вроде OpenAI, Google и Microsoft, которые строят свои «ответные движки» (answer engines), высасывая соки из открытого веба. С другой — медиа и создатели контента, которые внезапно обнаружили, что их превратили в бесплатную кормовую базу. Google, который десятилетиями строил бизнес на отправке трафика на сайты, теперь сам становится его конечной точкой, показывая готовые ответы в своих AI Overviews. Это все равно что построить самую большую в мире библиотеку, а потом поставить на входе робота, который пересказывает всем желающим содержание книг, не пуская их внутрь.

Конечно, корпорации пытаются делать хорошую мину при плохой игре. OpenAI заключает многомиллионные сделки с крупными новостными агентствами, по сути, откупаясь от них. Но что делать тысячам нишевых блогов, независимых СМИ и форумов, которые и создают ту самую ткань интернета? Им никто платить не будет. Их просто съедят и переварят. Мы наблюдаем классический сценарий, знакомый еще со времен краха доткомов: централизация власти и ценности в руках нескольких платформ, которые обещают удобство пользователю, но за счет уничтожения экосистемы, на которой они паразитируют.

Наш вердикт: это не просто техническая проблема с ботами, это экзистенциальный кризис для открытого веба. Эпоха поисковых систем, которые были симбионтами для сайтов, заканчивается. Начинается эпоха ИИ-агрегаторов, которые ведут себя как хищники. Старый общественный договор «мы даем вам контент, вы даете нам трафик» разорван в одностороннем порядке. Издателям придется либо вступать в неравные переговоры с гигантами, либо строить технические «стены» от RAG-ботов, рискуя выпасть из поля зрения ИИ и, как следствие, из будущего интернета. Удобство для пользователя обернулось тихим, но методичным удушением тех, кто этот самый интернет и наполнял смыслом.