Ai2 показала Olmo Hybrid: та же точность на 49% меньшем числе токенов обучения
Ai2 представила исследование Olmo Hybrid: гибрид внимания и рекуррентных слоёв дал точность Olmo 3 7B на MMLU, потратив на 49% меньше токенов. Следующая Olmo уже учится.
НЕЙРОНАХОДКИ / ЛЕНТАНовости нейросетей
Новости нейросетей
и технологий
Коротко о главном: что изменилось и как это использовать.
Ai2 открыла веса AstaBrief 8B, которая готовит научные отчёты в 3,5 раза быстрее
Ai2 выложила в открытый доступ модель AstaBrief 8B и данные для её обучения. В Asta она работает в режиме Fast и готовит отчёт со ссылками за 51 секунду вместо 178.
Ai2 выпустила Olmo-core 3 для обучения MoE-моделей до триллиона параметров
Ai2 открыла Olmo-core 3, фреймворк для обучения больших MoE-моделей. В тесте на восьми GPU он дал в 2,7 раза большую пропускную способность, чем прежняя реализация.