LLM нужен напарник: почему искусственному интеллекту нельзя работать в одиночку

Кажется, крестовый поход против «галлюцинаций» больших языковых моделей вышел на новый виток. Пока одни корпорации наращивают триллионы параметров и скармливают моделям весь интернет в надежде, что количество перейдет в качество, ветераны индустрии предлагают посмотреть на проблему с другой стороны. Вишал Сикка, бывший CEO SAP и основатель AI-компании Vianai, человек, видевший не один технологический пузырь, рубит с плеча: никогда не доверяйте LLM, которая работает в одиночку. Идея не нова, но в эпоху зарождающихся автономных AI-агентов она звучит как никогда актуально.

Суть предложения Сикки до смешного проста и элегантна, как все гениальное. Вместо того чтобы пытаться создать одну всезнающую и непогрешимую модель-оракула (спойлер: это пока невозможно), он предлагает использовать систему из двух ботов. Назовем их условно «Генератор» и «Верификатор». Первый, получив задачу — будь то написание кода, сворачивание белка или планирование отпуска — делает свою работу, как умеет. То есть, креативно, быстро, но с известной долей вероятностной отсебятины. А вот второй, «компаньон», тут же вступает в игру. Его задача — не творить, а проверять. Он ищет первоисточники, сверяет факты, оценивает логику и, по сути, выступает в роли безжалостного внутреннего критика. Если «Генератор» начинает выходить за «вычислительные границы» и фантазировать, «Верификатор» бьет по тормозам.

Это до боли напоминает человеческий рабочий процесс, где джуниор пишет черновик, а сеньор его вычитывает, исправляя ошибки и проверяя источники. Мы интуитивно не доверяем ответственные задачи одному человеку без контроля. Так почему мы должны доверять их одной нейросети, чья природа — угадывать следующее слово на основе статистики? Сикка подчеркивает, что галлюцинации — это не ошибка или баг, который можно исправить патчем. Это фундаментальное свойство LLM, возникающее, когда модель вынуждена генерировать ответ в области, где у нее недостаточно данных. Вместо того чтобы признаться в некомпетентности, она начинает импровизировать, и эта импровизация может быть опасно убедительной.

Особенно остро эта проблема встает сейчас, когда вся индустрия несется в сторону автономных агентов. Одно дело, когда чат-бот выдумывает несуществующую научную статью. Неприятно, но не смертельно. Совсем другое — когда AI-агент, имеющий доступ к вашим финансам, календарю и файлам, начнет «галлюцинировать» при выполнении задачи. Он может купить невозвратные билеты не в тот город, удалить не тот проект с сервера или интерпретировать вашу просьбу «почистить контакты» слишком буквально. В этом мире цена ошибки уже не просто дезинформация, а реальный ущерб. Именно здесь архитектура с «компаньоном-проверяющим» становится не просто изящным решением, а требованием безопасности.

Конечно, скептик внутри нас тут же задает вопрос: а кто будет проверять проверяющего? Не получится ли так, что два бота просто договорятся и будут галлюцинировать в унисон? Отчасти, это резонное опасение. Однако, если модели специализированы (одна — на креативной генерации, другая — на поиске и анализе фактов), их «картины мира» и способы «мышления» будут разными, что снижает риск сговора. К тому же, системы вроде RAG (Retrieval-Augmented Generation), которые уже сейчас подтягивают в ответ модели актуальную информацию из внешних баз данных, по сути, являются первым шагом к такой двухкомпонентной архитектуре. Сикка лишь предлагает развить эту идею до логического предела, сделав проверку не опцией, а обязательной частью процесса.

Наш вердикт: это не прорывная научная теория, а скорее манифест инженерного здравомыслия. Идея Сикки — это не столько про «создать новый AI», сколько про «собрать из существующих кубиков надежную систему». Это трезвый взгляд на технологию, лишенный маркетингового угара про «сверхразум в коробке». Вместо погони за мифическим AGI, нам предлагают строить прагматичные и, что самое главное, предсказуемые инструменты. И в мире, где AI-агенты вот-вот начнут управлять нашими данными и деньгами, предсказуемость ценится куда выше, чем способность нейросети написать сонет в стиле Шекспира о пользе биткоина. Это шаг от восторженного «Вау, оно говорит!» к зрелому «Так, а как нам сделать, чтобы оно не наломало дров?». И это, пожалуй, самый важный шаг для индустрии на сегодня.