3LM: Арабский мир создал бенчмарк, который ставит в тупик GPT-4 и Gemini

Пока в Кремниевой долине меряются триллионами параметров и скоростью генерации котиков, на Ближнем Востоке сделали ход конем, который может оказаться куда важнее. На сцену выходит 3LM — первый по-настоящему комплексный бенчмарк для оценки больших языковых моделей на их родном поле: в арабском языке, но не в поэзии или толковании священных текстов, а в суровом мире STEM и программирования. И первые же результаты показывают, что короли-то, оказывается, голые. Модели от OpenAI, Google и Anthropic, прекрасно справляющиеся с задачами на английском, начинают откровенно «плыть», когда дело доходит до описания алгоритма на Python или решения задачи по термодинамике на арабском.

Давайте к деталям, без маркетинговой шелухи. 3LM — это не просто очередной набор вопросов. Это тщательно собранный датасет из более чем 150 тысяч задач, охватывающих всё от дискретной математики до тонкостей объектно-ориентированного программирования. Проект, профинансированный консорциумом суверенных фондов Саудовской Аравии и ОАЭ, ставил целью не просто «проверить» существующие LLM, а выявить их фундаментальный недостаток — англоцентричность. Модели обучаются на гигантских корпусах англоязычных текстов, а другие языки для них — скорее выученный иностранный, чем родной. В результате, когда задача требует не перевода, а глубокого логического рассуждения на арабском, нейросеть сбоит: путает термины, генерирует нерабочий код или, в лучшем случае, бесстыдно переключается на английский, будто так и надо.

Это явление — не новость для лингвистов, но 3LM впервые облек его в конкретные, измеримые и довольно удручающие цифры. И здесь мы подходим к главному. Создание этого бенчмарка — акт не столько научный, сколько политический. Это декларация о цифровой независимости. Ближний Восток, обладающий колоссальными финансовыми ресурсами, больше не хочет быть просто рынком сбыта для американских технологий. Зачем ждать, пока OpenAI соизволит дообучить свою модель на качественных арабских данных, если можно стимулировать создание собственных, нативных решений? 3LM — это не просто линейка для измерения, это кнут и пряник для местного AI-сообщества. Кнут — для тех, кто слепо копирует западные подходы. Пряник — для тех, кто создаст модель, которая пройдет этот тест с честью.

Эта история идеально вписывается в глобальный тренд на технологический суверенитет. Мы видим, как Китай строит свой закрытый AI-контур, Европа пытается создать что-то свое с оглядкой на регуляцию, а теперь и арабский мир вступает в игру со своими правилами. Война LLM перестает быть матчем между Google и Microsoft. На поле выходят новые, амбициозные игроки с почти неограниченными бюджетами и четким видением: их будущее должно говорить и кодить на их родном языке. Они не просто хотят локализовать интерфейс — они хотят, чтобы сама логика машины была культурно и лингвистически релевантной. Ведь AI, который не понимает нюансов твоего языка в сложных областях, всегда будет технологией второго сорта.

Так что не стоит смотреть на 3LM как на очередной скучный академический проект. Это выстрел стартового пистолета в новой гонке вооружений. Гонке, где на кону не просто доля рынка, а возможность формировать будущее целых цивилизаций с помощью технологий, которые говорят с ними на одном языке. Западным гигантам придется либо быстро адаптироваться и начать серьезно инвестировать в не-английские данные, либо наблюдать, как огромные рынки уходят к локальным чемпионам. И что-то мне подсказывает, что «быстро адаптироваться» — это не всегда про корпорации-монополисты.

Наш вердикт: 3LM — это не прорыв в архитектуре нейросетей, это прорыв в мышлении. Вместо того чтобы играть по чужим правилам и вечно догонять лидеров на их поле, арабский мир создал свою собственную олимпиаду, где судьями выступают они сами. Это мощнейший маркетинговый ход, подкрепленный серьезной научной базой, который ставит всю индустрию перед фактом: мир AI гораздо больше, чем англоязычный интернет. Игнорировать это — значит добровольно отдать будущие рынки тем, кто оказался дальновиднее.