Ai2 показала Olmo Hybrid: та же точность на 49% меньшем числе токенов обучения

Ai2 представила на конференции COLM 2026 в Сан-Франциско исследование Olmo Hybrid — языковой модели, которая сочетает внимание трансформера с линейными рекуррентными слоями. На тесте MMLU гибрид показал ту же точность, что Olmo 3 7B, потратив на 49% меньше токенов обучения.

Внимание позволяет модели вытаскивать конкретные детали из уже прочитанного текста, рекуррентные слои держат компактное состояние, которое обновляется по мере обработки токенов. Статья «Olmo Hybrid: From Theory to Practice and Back» связывает теорию о том, какие зависимости способна представлять такая архитектура, с контролируемыми экспериментами по обучению.

Результаты легли в основу следующей модели Olmo: она уже на этапе предобучения и использует гибридную архитектуру mixture-of-experts. В такой схеме каждый токен проходит только через часть компонентов модели, что даёт дополнительную экономию вычислений. Сроки выпуска Ai2 не называет.

Перед конференцией лаборатория выложила Olmo-core 3 — переработанную систему для обучения больших MoE-моделей. Код открыт: на нём можно собирать свои модели и разбирать решения, принятые при обучении. Чекпоинты и технические отчёты доступны в экосистеме Olmo. Google, как отмечает Ai2, воспроизвела обучение Olmo 3 7B в MaxText на TPU в Google Cloud.