ИИ не ошибся, ошибся человек: как распознавание лиц в супермаркете превратилось в фарс

Кажется, мы дожили до идеальной иллюстрации проблемы «человека в цикле». В одном из британских супермаркетов разыгралась драма, достойная пера Кафки и кисти Уорхола. Система распознавания лиц, призванная ловить нечистых на руку граждан, сработала как швейцарские часы: она действительно обнаружила в магазине человека из «черного списка». Машина свою задачу выполнила. А вот дальше в дело вступил венец творения природы. Менеджер магазина, получив уведомление, не стал утруждать себя сверкой фотографий и прочими скучными процедурами, а просто выдворил из магазина первого попавшегося покупателя, отдаленно напоминавшего ориентировку. Им оказался правозащитник, который, по иронии судьбы, как раз критиковал подобные системы за их несовершенство. Теперь супермаркету светят не только публичные извинения, но и вполне реальный судебный иск.

Эта история — не про плохой AI. Напротив, технология (в данном случае, по всей видимости, от компании Facewatch, активно окучивающей британский ритейл) показала себя с лучшей стороны. Алгоритм проанализировал поток лиц, сопоставил с базой данных известных нарушителей и выдал точное совпадение. Проблема началась там, где закончилась зона ответственности кремния и началась зона ответственности белка. Сотрудник магазина выступил в роли классического «полезного идиота» при машине: он получил сигнал и, не включая критическое мышление, исполнил команду. Он настолько поверил в непогрешимость системы, что его собственные глаза и мозг превратились в рудиментарный придаток, нужный лишь для того, чтобы дойти до цели и указать ей на дверь.

И в этом кроется главная опасность массового внедрения подобных «помощников». Нас годами приучают к тому, что компьютер всегда прав. Навигатор лучше знает дорогу, автокорректор — грамматику, а рекомендательный алгоритм — какой сериал нам смотреть сегодня вечером. Эта слепая вера в технологию, или «automation bias», приводит к атрофии базовых навыков проверки и анализа. Зачем сверять фото, если умная камера уже все решила за тебя? Зачем думать, если можно просто исполнять? Ритейлеры, внедряя такие системы, экономят на квалифицированной охране и перекладывают ответственность на софт, но забывают проинструктировать линейный персонал, что алерт от ИИ — это не приговор, а лишь повод для проверки.

Давайте посмотрим на это с точки зрения бизнеса. Британские ритейлеры теряют на кражах миллиарды фунтов в год. Идея поставить у входа цифрового вышибалу, который будет отсекать известных воришек, выглядит соблазнительно. Facewatch и подобные ей компании продают не просто софт, они продают спокойствие и иллюзию контроля. За относительно небольшую абонентскую плату магазин получает доступ к «коллективной базе данных» нарушителей, собранной с сотен других точек. Маркетинг этих систем строится на эффективности и предотвращении убытков. Но, как видим, в уравнении появляется новая переменная — репутационные издержки от ошибки персонала, помноженные на судебные иски.

Этот случай — микрокосм всех наших страхов и надежд, связанных с искусственным интеллектом. Мы боимся, что машины станут слишком умными и поработят нас. А на деле куда реальнее сценарий, в котором мы сами становимся слишком ленивыми и глупыми, чтобы правильно пользоваться созданными нами же инструментами. Мы ждем от ИИ решения сложных проблем, но спотыкаемся на самой простой задаче — интеграции этого ИИ в реальные рабочие процессы с живыми, ошибающимися людьми. Вместо киберпанка с восстанием машин мы получаем ситком, где уставший клерк выгоняет не того парня, потому что «компьютер так сказал».

Наш вердикт: это не прорыв и не провал технологии. Это симптом куда более глубокой болезни — нашей собственной цифровой безграмотности и нежелания нести ответственность. Технология — лишь инструмент, молоток. Им можно забить гвоздь, а можно ударить по пальцу. В британском супермаркете со всей силы ударили по пальцу, обвинив в этом молоток. Пока компании будут продавать AI-решения как волшебную таблетку, а пользователи — воспринимать их как истину в последней инстанции, подобные фарсы будут повторяться. И хорошо, если дело ограничится извинениями, а не сломанной судьбой человека, которого система однажды перепутает с кем-то другим, а человек в форме слепо ей поверит.