Китайская полиция использовала ChatGPT для фабрикации клеветы и атак на оппонентов

Кажется, в китайском министерстве госбезопасности тоже открыли для себя магию «цифровой трансформации». Свежий отчет OpenAI, который компания выпускает с регулярностью отчета о квартальной прибыли, вскрыл прелюбопытный факт: китайские силовики пытались поставить ChatGPT на службу партии. Не для написания отчетов, а для организации полноценных клеветнических кампаний. Цели — диссиденты, критики коммунистического режима и, до кучи, премьер-министр Японии. Видимо, кто-то очень хотел премию за креативный подход к подрывной деятельности.

Эта история — прекрасная иллюстрация того, как быстро высокие технологии спускаются с заоблачных высот корпоративных презентаций в суровую окопную реальность информационных войн. Группа, которую OpenAI деликатно называет Spamouflage, а эксперты по кибербезопасности связывают с китайской полицией, использовала API моделей для целого спектра задач. Они генерировали тонны контента для соцсетей на китайском, английском, японском и корейском языках, исследовали публичную информацию для поиска уязвимостей своих целей и даже отлаживали код для автоматизации своих операций. По сути, один оперативник с доступом к GPT-4 мог заменить небольшой отдел SMM-щиков и программистов из какой-нибудь «фабрики троллей».

Конечно, в OpenAI поспешили заверить, что операция была вовремя вскрыта, а ее эффективность — «незначительна». Аккаунты заблокировали, модели дообучили, мир спасен. Но эта история — не про успех службы безопасности Сэма Альтмана. Это история про радикальное удешевление и демократизацию государственной пропаганды. Еще пять лет назад для организации подобной кампании требовались бюджеты, серверы, штат копирайтеров и программистов. Сегодня нужен только сотрудник с корпоративной картой и подпиской за $20 в месяц. Барьер входа в клуб вершителей цифровых судеб рухнул окончательно.

И дело, разумеется, не только в Китае. В том же отчете OpenAI упоминает еще несколько «клиентов». Иранская группа, известная как International Union of Virtual Media, использовала модели для генерации антиизраильского и антиамериканского контента. Российская сеть, которую связали с Doppelganger, клепала англоязычные комментарии с критикой поддержки Украины. Даже одна частная израильская компания засветилась — генерировала антиисламский контент для аудиторий в Канаде, США и Индии. Поле боя за умы стало глобальным, а оружие на нем — общедоступным. OpenAI, Google и прочие техногиганты оказались в роли производителей автоматов Калашникова: их продукт прост, эффективен и используется всеми сторонами любого конфликта.

Вся эта ситуация превращается в бесконечную игру в кошки-мышки. OpenAI заявляет, что их системы безопасности становятся все умнее и лучше распознают злонамеренную активность. Но и акторы становятся хитрее. Сегодня их поймали на использовании официального API. Завтра они перейдут на менее щепетильные или вовсе открытые модели, развернутые на собственных серверах где-нибудь в защищенном дата-центре. Отследить такую активность будет практически невозможно. И если сейчас их пропаганда выглядит топорной и «незначительной», то с развитием моделей она станет неотличимой от мнения реального человека. Мы вступаем в эпоху, когда доверять нельзя будет вообще ничему в сети.

Наш вердикт: Публикация этого отчета — это не столько акт прозрачности, сколько элемент PR-стратегии OpenAI. Компания отчаянно пытается показать регуляторам и обществу, что она «хорошая» и держит ситуацию под контролем. На самом деле, джинна уже выпустили из бутылки. Централизованные платформы вроде ChatGPT — это лишь верхушка айсберга. Настоящая угроза зреет в мире open-source моделей, которые можно дообучить на чем угодно и использовать без всякого надзора. Так что нынешний отчет — это не победа над дезинформацией, а лишь анонс будущих, куда более изощренных информационных войн, где отличить правду от сгенерированного бреда будет задачей со звездочкой.