AI нашел преступника, а охрана выгнала не того: анатомия идеального провала

Есть истории, которые идеально иллюстрируют весь наш хайп вокруг искусственного интеллекта. Не те, где нейросеть пишет симфонию или открывает новый вид белка, а приземленные, бытовые, почти анекдотичные. Британская сеть супермаркетов Co-op подарила нам именно такой сюжет: их система распознавания лиц сработала на 10 из 10, точно идентифицировав в толпе покупателей известного магазинного вора. Алгоритм был безупречен. Проблема в том, что из магазина с позором выгнали совершенно другого человека, просто проходившего мимо.

Давайте разберем этот театр абсурда по косточкам. Технологию предоставляет компания Facewatch — довольно известный на туманном Альбионе игрок, который предлагает ритейлерам «облачный черный список». Магазины подписываются на сервис, загружают в общую базу фото и данные тех, кто уже был пойман на краже, и устанавливают камеры. Когда лицо из «стоп-листа» появляется в торговом зале, система отправляет менеджеру на смартфон пуш-уведомление с фотографией нарушителя и его «коллеги» из базы. В теории — гениально просто. На практике — все упирается в конечного исполнителя.

В данном случае менеджер получил алерт, оглядел зал, увидел человека, который показался ему похожим на фото с экрана, и попросил его покинуть помещение. Невиновный покупатель, конечно, был в шоке, но спорить не стал. Позже он связался с правозащитной организацией Big Brother Watch, и история попала в прессу. Руководство Co-op принесло извинения и пообещало провести «дополнительное обучение» для персонала. Это классическая корпоративная отписка, которая элегантно обходит стороной суть проблемы. Дело не в том, что конкретный менеджер оказался невнимательным. Дело в самой парадигме «человек + AI», которую нам продают как панацею.

Системы вроде Facewatch — это не автономные робокопы. Это, по сути, навороченная «сигналка», которая просто кричит: «Эй, обрати внимание!». Финальное решение — сверить фото, подойти, провести беседу — все еще лежит на живом человеке. А человек подвержен усталости, предвзятости и когнитивным искажениям. Он может быть завален другой работой, у него может быть плохой день, или он может просто слишком сильно доверять технологии, рассуждая по принципу «компьютер врать не будет». И вот это слепое доверие — самая большая уязвимость.

Вся индустрия ритейла сейчас отчаянно ищет технологическое решение проблемы воровства, которое в последние годы бьет все рекорды. Потери исчисляются миллиардами. Идея отдать грязную работу по выслеживанию «несунов» беспристрастному алгоритму выглядит соблазнительно. Но этот случай показывает, что мы пытаемся лечить сложную социальную болезнь простой технологической таблеткой. Мы ставим камеры, обучаем модели, но забываем про того самого условного Джона на кассе, которому в итоге придется принимать решение, способное унизить и оскорбить невиновного.

Наш вердикт: это не провал AI, это провал интеграции. Технология может быть сколь угодно точной, но пока она встроена в процесс, где последнее слово за человеком, результат будет определяться самым слабым звеном. Вместо того чтобы инвестировать в «дополнительное обучение», компаниям стоило бы задуматься о разработке четких протоколов: что делать после получения алерта? Как верифицировать совпадение? Как вести диалог с подозреваемым, чтобы не превратить поход за хлебом в сцену из оруэлловского романа? Без ответов на эти вопросы любая система распознавания лиц — это просто дорогой и потенциально токсичный гаджет, генерирующий больше проблем, чем решает.