AI-черви уже здесь: как вирусные промпты могут стать новой чумой интернета

Пока венчурные капиталисты и футурологи соревнуются, кто громче предскажет пришествие Сверхразума, реальная угроза для AI-будущего оказалась куда прозаичнее. Забудьте о восстании машин. Бояться стоит не самовоспроизводящихся нейросетей, а самовоспроизводящихся промптов. И недавний концепт под названием Moltbook — эдакая оспа для больших языковых моделей — наглядно показал, насколько хрупка вся эта дивная новая индустрия.

Скажем прямо, идея не нова. О «промпт-инъекциях» говорят с тех пор, как ChatGPT стал всеобщим развлечением. Это когда вы хитро составленным запросом заставляете модель выдать скрытую информацию или нарушить собственные правила. Но Moltbook выводит эту концепцию на новый, пугающий уровень — уровень вирусной эпидемии. Представьте себе не просто взлом, а цифрового червя, который размножается не в коде, а в обычном тексте. Механика до гениальности проста: в промпт зашивается инструкция, которая приказывает модели не только ответить на основной вопрос, но и незаметно вставить в свой ответ тот самый вредоносный промпт.

Получается эдакое цифровое письмо счастья на стероидах. Один пользователь генерирует текст с таким «червем». Другой копирует этот текст (например, для своего реферата или поста в блоге) и скармливает его другой нейросети. Вуаля — инфекция распространилась. Теперь уже вторая нейросеть будет вставлять вредоносный код в свои ответы. Этот процесс может продолжаться до бесконечности, заражая базы данных, поисковую выдачу, и все системы, которые полагаются на вывод LLM. Мы строим мир, где AI-агенты общаются друг с другом, где вывод одной модели становится вводом для другой. Это идеальная питательная среда для подобной заразы.

Последствия? Они варьируются от забавных до катастрофических. Самое безобидное — это «замусоривание» контента. Представьте, что каждый второй сгенерированный текст в интернете будет заканчиваться рекламой крипто-скама или какой-нибудь политической агиткой. Более серьезный сценарий — это DoS-атаки на API. Поскольку компании вроде OpenAI или Google берут деньги за каждый сгенерированный токен, вирусный промпт, заставляющий модель генерировать тонны бессмысленного текста, может в считанные часы обанкротить небольшой стартап, который пользуется их услугами.

А что же гиганты? OpenAI, Google, Anthropic — все они в курсе проблемы инъекций и пытаются латать дыры. Они внедряют сложные фильтры, «конституции» для моделей и прочие защитные механизмы. Но это похоже на попытку вычерпать воду из дырявой лодки наперстком. Фундаментальная уязвимость заложена в самой архитектуре современных LLM: они не разделяют данные и инструкции. Для них любой текст — это просто последовательность токенов, которую нужно обработать. И пока это так, всегда найдется способ обмануть систему.

Пока отрасль одержима гонкой за количеством параметров и новыми рекордами в бенчмарках, вопросы фундаментальной безопасности отходят на второй план. Мы строим невероятно сложные и мощные инструменты, но на фундаменте из песка. Ирония в том, что крах экосистемы на триллионы долларов может вызвать не сверхразумный AI, а одна-единственная, хитро составленная строка текста, передаваемая от машины к машине, как чума в Средневековье.

Наш вердикт: угроза вирусных промптов — это не гипотетическая страшилка, а вполне реальная инженерная проблема, которую индустрия пока предпочитает игнорировать. Это классический пример «проблемы низкого старта» — угроза кажется слишком простой и «несерьезной» на фоне разговоров об AGI. Но именно такие, на первый взгляд, примитивные уязвимости чаще всего и приводят к самым масштабным последствиям. Следующий «великий интернет-червь» может оказаться не бинарным кодом, а обычным абзацем текста. И мы к этому совершенно не готовы.