Двуглавый гигант: как архитектура Ettin Suite меняет правила игры для LLM

В бесконечной гонке нейросетевых вооружений, где победу, казалось бы, одерживает тот, у кого больше кластер и толще кабель к электростанции, иногда случаются изящные диверсии. Именно такой диверсией выглядит релиз Ettin Suite от малоизвестного консорциума Zurich AI Collective (ZAC). Они не стали соревноваться с Google и OpenAI в количестве параметров, а зашли с фланга, предложив новую архитектуру. И, судя по первым бенчмаркам, этот маневр оказался на удивление успешным. На ряде узкоспециализированных задач, связанных с синтезом кода и анализом структурированных данных, их флагманская модель Ettin-130B показывает результаты на 12-18% лучше, чем GPT-4 Turbo и Claude 3 Opus. А это уже не статистическая погрешность, а заявка на смену парадигмы.

Название «Эттин» — отсылка к двухголовому гиганту из германо-скандинавской мифологии — выбрано не случайно. В отличие от классических трансформеров, архитектура Ettin использует парные энкодеры. Представьте себе двух узких специалистов вместо одного эрудита широкого профиля. Один энкодер («лингвист») натренирован исключительно на гигантских массивах человеческого языка — от Шекспира до переписки в Slack. Второй («логик») — на терабайтах исходного кода, математических доказательствах и схемах баз данных. На входе они параллельно обрабатывают промпт, создавая два разных, но дополняющих друг друга вектора представления. «Лингвист» улавливает нюансы и намерения, «логик» видит структуру и ограничения. Затем эти два потока информации поступают в единый декодер, который синтезирует ответ, обладающий и семантической глубиной, и структурной точностью. ZAC выложили в открытый доступ веса двух моделей (Ettin-7B и Ettin-130B) по лицензии Apache 2.0 с одним условием: для коммерческого использования требуется отдельное согласование. Ход умный — и сообществу дали поиграться, и корпорациям сразу монетизировать не позволят.

Эта история — прекрасная иллюстрация того, во что уперлась текущая AI-индустрия. Последние пару лет мы наблюдали за соревнованием по тяжелой атлетике: кто поднимет большую штангу из параметров и данных. OpenAI со своей серией GPT и Google с Gemini шли по экстенсивному пути, наращивая массу. Эффективно? Безусловно. Но закон убывающей отдачи никто не отменял. Каждое следующее удвоение параметров дает все меньший прирост качества, требуя при этом экспоненциального роста вычислительных ресурсов. ZAC же напоминают, что кроме грубой силы есть еще и техника. Их подход — это возврат к идее, что умная архитектура может быть эффективнее бездумного масштабирования. Это не значит, что большие модели не нужны. Это значит, что будущее, возможно, за гибридными, более специализированными системами, а не за одним «универсальным солдатом».

Конечно, к подобным релизам от «темных лошадок» стоит подходить с долей здорового скепсиса, который мы тут в редакции очень уважаем. Во-первых, опубликованные бенчмарки — это всегда немного «домашние» тесты, заточенные под сильные стороны модели. Нужно дождаться независимых проверок. Во-вторых, сложность архитектуры может обернуться проблемами со скоростью инференса и стоимостью обучения. Две «головы» — это почти наверняка дороже, чем одна. И главный вопрос: что помешает OpenAI или Google «вдохновиться» этой идеей, влить в нее бюджет небольшой африканской страны и через полгода выпустить какой-нибудь GPT-5 с «продвинутой мульти-энкодерной архитектурой»?

Наш вердикт: Ettin Suite — это не очередной «убийца GPT», а нечто гораздо более важное. Это элегантное доказательство того, что в дизайне нейросетей еще полно неисследованных территорий, и гонка не сводится к банальному наращиванию мускулов. Это глоток свежего воздуха и, возможно, предвестник нового тренда на архитектурную специализацию. Прорывом это станет, если идею подхватит и разовьет сообщество, а не похоронит под своим маркетинговым бюджетом кто-то из гигантов. Но как минимум, это красивая тактическая победа инженеров над маркетологами. А за такое всегда приятно поболеть.