Сокол расправляет крылья: Falcon 180B бросает вызов гигантам

Подробный разбор Falcon 180B. Как модель из ОАЭ обошла Llama 2 и что это значит для гонки ИИ-вооружений. Технические детали, цена и наш вердикт.

Сокол расправляет крылья: Falcon 180B бросает вызов гигантам

Пока большие дяди из OpenAI и Google меряются закрытыми моделями, о параметрах которых мы можем только гадать, в тихом омуте open-source (а точнее, open-weight) появился новый хищник. И он очень, очень большой. Технологический институт инноваций (TII) из Абу-Даби выкатил в свет Falcon 180B — модель со 180 миллиардами параметров, которая немедленно возглавила рейтинг Hugging Face Open LLM Leaderboard, оставив позади Llama 2 от Meta. Для тех, кто не следит за цифрами: это заявка на звание самой мощной «открытой» языковой модели в мире. И это меняет несколько больше, чем просто строчку в рейтинге.

Давайте к деталям, которые любят инженеры и ненавидят маркетологи. Falcon 180B обучался на гигантском датасете RefinedWeb объемом в 3.5 триллиона токенов. Чтобы «прожевать» такой объем данных, потребовалось около 4 миллионов GPU-часов на кластере Amazon SageMaker — цифра, от которой ваш счет за электричество скромно прячется в угол. Для запуска этого зверя в режиме инференса понадобится около 400 ГБ видеопамяти, что означает, что на вашей игровой RTX 4090 вы сможете разве что запустить его презентацию. Тут нужна батарея из 4-8 топовых серверных ускорителей вроде A100. Но самое интересное — лицензия. Модель свободна для исследований, но для любого коммерческого использования требуется специальное разрешение. Это такой «открытый» код с очень жирной звездочкой, напоминающий, что бесплатный сыр бывает только для академиков.

Этот релиз — не просто техническое достижение. Это мощный ход в глобальной шахматной партии за ИИ-доминирование. Долгое время гонка вооружений шла по двум основным трекам: закрытые, почти мифические модели от OpenAI и Google, и более «демократичный» путь, который прокладывала Meta со своей Llama. Теперь на арену выходит третий игрок — и это не стартап из гаража, а институт, за которым стоит целое государство. Falcon — это декларация технологического суверенитета ОАЭ. Они не просто покупают технологии, они их создают, вкладывая в это ресурсы, сопоставимые с бюджетами некоторых стран. Демократизация ИИ, о которой так любят говорить в Кремниевой долине, на практике оборачивается соревнованием кошельков национального масштаба.

Вся эта история наглядно показывает, куда движется индустрия. Эпоха романтического open-source, где одиночка-энтузиаст мог совершить прорыв, кажется, подходит к концу. Создание фундаментальных моделей стало игрой для сверхтяжеловесов: мегакорпораций и государств. Falcon 180B — это одновременно и подарок сообществу (ведь теперь у исследователей есть новый мощный инструмент), и недвусмысленный намек: чтобы играть в этой лиге, нужны не только светлые головы, но и практически неограниченный доступ к вычислительным мощностям и данным. И пока мы восхищаемся новым рекордом, стоит помнить, что эта модель — такой же продукт геополитики, как и технологий.

Наш вердикт: Falcon 180B — это безусловно технологический прорыв и самый мощный из доступных инструментов для исследователей. Но для бизнеса — это скорее маркетинговый снаряд, демонстрирующий мощь TII и ОАЭ. «Открытость» с коммерческими ограничениями и чудовищные требования к железу делают его нишевым продуктом. Это как концепт-кар на автосалоне: все восхищаются, фотографируют, но на дороги выезжают совсем другие машины. Falcon доказал, что тягаться с OpenAI можно. Но он также доказал, что цена входа в эту гонку стала астрономической. Это не революция для масс, а скорее смена караула в элитном клубе создателей ИИ.

Read more

Коллективный разум: как энтузиасты обучают большую языковую модель через интернет, бросая вызов Google и OpenAI

Коллективный разум: как энтузиасты обучают большую языковую модель через интернет, бросая вызов Google и OpenAI

Новый проект позволяет обучать LLM на тысячах домашних GPU. Разбираемся, сможет ли этот «цифровой колхоз» потеснить техногигантов или это просто утопия.

By Редакция AI News