Коллективный разум: как энтузиасты обучают большую языковую модель через интернет, бросая вызов Google и OpenAI

Пока OpenAI и Google меряются размерами своих вычислительных кластеров, стоимостью в миллиарды долларов, где-то в тиши академических кабинетов и на Discord-серверах энтузиастов родился дерзкий ответ. На днях группа исследователей из нескольких европейских университетов опубликовала работу, описывающую успешное обучение языковой модели со 120 миллиардами параметров без единого централизованного сервера. Весь процесс был распределен между тысячами добровольцев по всему миру, которые пожертвовали циклы своих игровых видеокарт. Это не просто элегантное техническое решение, это философский вызов всей кремниевой аристократии, которая уверена, что будущее AI можно купить только за очень большие деньги.

Суть метода, который уже успели окрестить «децентрализованным глубоким обучением», напоминает старые добрые проекты распределенных вычислений вроде SETI@home, но на стероидах. Модель разбивается на множество мелких фрагментов, которые «раздаются» участникам сети. Каждый узел (то есть домашний компьютер с какой-нибудь RTX 3070 на борту) обрабатывает свой кусочек данных и обучает свою часть модели, после чего участники обмениваются обновлениями (градиентами) друг с другом по хитрому P2P-протоколу. Это позволяет избежать «бутылочного горлышка» в виде центрального сервера и делает систему поразительно устойчивой. Отключилась половина сети в Европе из-за блэкаута? Оставшиеся узлы в Азии и Америке подхватят эстафету. За участие пока не платят ни копейки — всё держится на чистом энтузиазме и желании прикоснуться к созданию «народного» AI.

Эта история — прямое следствие гонки вооружений в мире LLM. За последние пару лет стоимость обучения флагманских моделей взлетела до сотен миллионов долларов, фактически отрезав от гонки всех, кроме горстки корпораций с бездонными карманами. Google, Microsoft, OpenAI, Anthropic — этот элитный клуб решает, каким будет AI завтрашнего дня, какие у него будут ценности и на чьих данных он будет учиться. Открытые модели вроде Llama от Meta немного исправляют ситуацию, но и для их дообучения нужны серьезные мощности. Проект распределенного обучения — это попытка выбить главный козырь из рук монополистов: эксклюзивный доступ к вычислительным ресурсам. Это почти что AI-социализм в действии, где средства производства (в данном случае — GPU) принадлежат народу.

Идея не нова. Попытки создать подобные «вычислительные колхозы» предпринимались и раньше, но постоянно натыкались на фундаментальные проблемы: чудовищные задержки при синхронизации, проблемы с безопасностью (что мешает злоумышленнику «скормить» сети отравленные данные?) и, банально, низкая надежность участников-добровольцев. Новая архитектура, предложенная исследователями, элегантно решает многие из этих вопросов с помощью асинхронных обновлений и криптографических методов проверки вклада каждого участника. Это уже не просто красивая теория, а работающий прототип, который, пусть и медленнее, чем кластеры Google, но все же смог довести обучение большой модели до вполне приличных показателей на стандартных бенчмарках.

Наш вердикт: это, без сомнения, одна из самых интересных и идеологически важных разработок за последний год. Настоящий панк-рок в мире корпоративного AI. Идея отнять у техногигантов их главное преимущество — эксклюзивный доступ к «железу» — и передать его в руки сообщества выглядит чертовски соблазнительно. Однако не стоит спешить продавать акции Nvidia. Пока что это скорее мощный proof-of-concept и политический манифест. Координация тысяч анонимных участников, борьба с вредителями, обеспечение стабильности сети на протяжении месяцев обучения — все это титанические инженерные задачи. Прямо сейчас такой подход не создаст конкурента GPT-5. Но он закладывает фундамент для будущего, в котором создание сильного AI перестанет быть привилегией избранных. И уже одно это заслуживает аплодисментов.