ИИ-мошенники уже здесь: как нейросети превратили скам в высокотехнологичный бизнес

В конце прошлого лета аналитики по кибербезопасности чуть не открыли шампанское. Они обнаружили PromptLock — первый в мире вирус-вымогатель, полностью управляемый языковой моделью. Эта штука могла в реальном времени писать код, находить на компьютере жертвы самое ценное и даже сочинять персонализированные записки с требованием выкупа. Автономно, без участия человека, и каждый раз — по-новому. Казалось, вот он, цифровой апокалипсис, о котором так долго предупреждали в Кремниевой долине. Но праздник длился недолго. Через день выяснилось, что грозный PromptLock — всего лишь научный проект студентов из Нью-Йоркского университета. Они просто хотели доказать, что такое в принципе возможно. И, как оказалось, очень даже возможно.

Эта история — идеальная метафора нынешней ситуации. Пока одни раздувают панику о «сверхразумных ИИ-хакерах», которые вот-вот взломают Пентагон, реальная угроза оказалась куда приземленнее и масштабнее. Искусственный интеллект стал не супероружием для элиты, а «станком с ЧПУ» для массового производства киберпреступлений. Точно так же, как разработчики используют ИИ для написания кода и отладки, мошенники ставят его на службу своим темным делам, радикально снижая порог входа для новичков.

Цифры говорят сами за себя. По оценкам исследователей, уже сейчас около половины всего спама в электронной почте генерируется с помощью LLM. А в сегменте целевых атак (когда мошенники выдают себя за начальника или коллегу) доля ИИ выросла вдвое всего за год. Но письма — это детский сад. Настоящий прорыв мошенников связан с дипфейками. Несколько лет назад для создания убедительной подделки требовались горы данных и недели работы. Сегодня достаточно короткого аудио или нескольких фото. И это работает. В одном из нашумевших случаев финансовый сотрудник перевел $25 миллионов жуликам после видеоконференции, на которой присутствовали цифровые клоны его финансового директора и других коллег. И это лишь верхушка айсберга.

Конечно, техногиганты вроде Google и Anthropic регулярно публикуют отчеты о том, как они доблестно пресекают «ИИ-атаки». Звучит грозно, но при ближайшем рассмотрении оказывается, что речь идет либо о студенческих экспериментах вроде PromptLock, либо об автоматизации отдельных, далеко не самых сложных этапов взлома. Как метко подметил один из экспертов, «ничего нового, креативного или интересного в этих атаках нет». Часто ИИ просто используется как продвинутый поисковик уязвимостей или как помощник для написания кода, который потом все равно запускает человек. К тому же, модели вроде Claude умудряются «галлюцинировать» прямо во время атаки, выдумывая несуществующие уязвимости и преувеличивая свои успехи. До полностью автономного кибер-агента еще очень далеко.

Главный вектор развития для злоумышленников — это открытые open-source модели. Зачем пытаться обмануть встроенную «этику» в Gemini или ChatGPT, если можно взять Llama, вырезать из нее все защитные механизмы и настроить под свои нужды? Именно так поступили создатели PromptLock, и им даже не пришлось прибегать к сложным техникам «джейлбрейка». Модели просто делали то, о чем их просили. Это значит, что по мере роста популярности открытых моделей будет расти и арсенал киберпреступников.

Наш вердикт: Забудьте о киношных образах ИИ-суперзлодея. Реальная опасность искусственного интеллекта в кибербезопасности — не в его гениальности, а в его доступности. Он стал идеальным инструментом для «промышленного» производства скама. Он позволяет тысячам малоквалифицированных мошенников проводить атаки, которые раньше были под силу только опытным командам. Он делает фишинг более убедительным, а социальную инженерию — пугающе реалистичной. Хорошая новость в том, что базовые правила цифровой гигиены — не кликать по подозрительным ссылкам, использовать двухфакторную аутентификацию и вовремя обновлять софт — все еще работают. Плохая новость: теперь проверять подлинность голоса начальника в телефоне или его лица в Zoom придется гораздо чаще.