Cosmopedia: открытый рецепт синтетических данных для будущих убийц GPT-4

Кажется, вечеринка с бесплатными данными из интернета подходит к концу. Годами разработчики LLM пылесосили каждый байт из Сети, скармливая моделям всё — от Шекспира и научных статей до фанатских фанфиков и комментариев на Reddit. Но этот ресурс, как любая нефтяная скважина, оказался конечным и, что хуже, токсичным. На фоне исков от правообладателей и понимания, что большая часть веба — это мусор, индустрия уперлась в «стену данных». И вот, пока OpenAI и Google в своих секретных лабораториях варят «синтетическое» топливо для новых моделей, Hugging Face совместно с ServiceNow выложили на стол открытый рецепт — Cosmopedia. Это массивный датасет на 25 миллионов образцов, содержащий 1 триллион токенов полностью сгенерированных данных. Это не просто еще один набор текста, это заявка на новый стандарт в обучении AI.

Что же внутри этой «космической энциклопедии»? В основе лежит довольно изящная идея. Команда взяла 30 миллионов разнообразных запросов (промптов), извлеченных из открытых веб-архивов и Википедии, и прогнала их через Mixtral-8x7B — одну из самых толковых открытых моделей на сегодня. Mixtral, по сути, написал миллионы коротких эссе, постов, учебных материалов и историй. Получился дистиллированный, очищенный от мусора и копирайтных мин концентрат знаний, который охватывает широчайший спектр тем. Весь этот массив данных, включая код для его генерации, выложен в открытый доступ под лицензией OpenRAIL-M, что позволяет использовать его в коммерческих и исследовательских целях. Это прямой выпад в сторону закрытых экосистем: «Вы прячете свои данные? А мы покажем всем, как их делать».

Чтобы доказать, что их синтетика — не просто красивая цифра, создатели Cosmopedia провели эксперимент. Они взяли небольшую, но перспективную архитектуру Phi-3-mini от Microsoft (3.8 миллиарда параметров) и обучили её с нуля исключительно на своем новом датасете. Результат? Модель не просто заработала, а показала на стандартных бенчмарках производительность, сопоставимую с моделями вдвое большего размера, такими как Mistral-7B и Llama-3-8B-Instruct. Это мощное доказательство тезиса, который витал в воздухе давно: качество данных важнее их сырого количества. Лучше скормить модели миллион страниц идеально написанного «учебника», чем миллиард страниц интернет-форумов. И теперь есть инструкция, как такой учебник написать.

Вся эта история — не просто технический прорыв, а очередной акт в драме под названием «Битва за будущее AI». С одной стороны — OpenAI, которая, по слухам, уже давно использует GPT-4 для генерации обучающих данных для GPT-5, создавая замкнутый цикл самосовершенствования. С другой — Google с его доступом к колоссальным проприетарным данным из Поиска, YouTube и Gmail. Открытое сообщество в этой гонке выглядело аутсайдером, обреченным доедать крошки с барского стола — то есть, с общедоступного интернета. Cosmopedia — это попытка уравнять шансы. Это не рыба, а удочка. Любая команда теперь может взять этот рецепт, адаптировать его под свои нужды — например, для создания узкоспециализированной модели для юристов или врачей — и сгенерировать свой собственный, чистый и качественный датасет, не боясь исков от The New York Times.

Подход «модель учит модель» не нов. Именно эту стратегию Microsoft с самого начала обкатывала на своих моделях семейства Phi, доказывая, что можно достичь впечатляющих результатов на малых моделях, если кормить их не «веб-помоями», а данными «качества учебника». Cosmopedia масштабирует эту идею до промышленных масштабов и делает ее достоянием общественности. Это меняет экономику процесса: вместо дорогостоящей и юридически рискованной очистки триллионов токенов из интернета, можно потратить вычислительные мощности на генерацию более качественного, хоть и меньшего по объему, набора данных. Для стартапов и исследовательских групп это может стать настоящим спасением.

Наш вердикт: Cosmopedia — это не просто очередной большой датасет, который ляжет мертвым грузом на хабах Hugging Face. Это гораздо больше, чем маркетинг. Это публикация важнейшего рецепта в критический момент, когда вся индустрия столкнулась с надвигающимся «голодом данных». Ценность Cosmopedia не столько в самом триллионе токенов, сколько в открытом методе их получения. Это одновременно и практический инструмент, и мощное политическое заявление, направленное на демократизацию технологий, которые гиганты пытаются приватизировать. Конечно, остаются вопросы о накоплении ошибок и «вырождении» моделей, обучающихся на данных своих предшественников. Но на данном этапе это самый элегантный ответ open-source сообщества на главный вызов эпохи больших языковых моделей.