Языковые модели

Опубликовано:

IBM обучила 20B-модель Palette собирать презентации в фирменном стиле

IBM Research дообучила открытую 20B-модель Palette собирать слайды в заданном дизайн-языке: на PresentBench она вторая с 59,7 балла против 60,8 у NotebookLM.

IBM Research представила Palette — открытую модель на 20 млрд параметров, обученную собирать презентации в заданном дизайн-языке. На бенчмарке PresentBench она заняла первое место в доменах «Экономика» и «Образование», третье в «Talk» и второе по среднему из трёх доменов: 59,7 балла против 60,8 у NotebookLM.

Работу модель делит на две роли, для обеих использован один LoRA-адаптер. «Дизайнер» читает план и пишет структурированное JSON-описание: палитру, шрифты, макет каждого слайда, его содержимое и короткое обоснование. «Кодер» по этому описанию генерирует JavaScript для библиотеки pptxgenjs, который рисует слайд. Описание можно править вручную и менять один слайд, не пересобирая всю презентацию, а вызовы кодера идут параллельно — этап вёрстки ускоряется примерно в 6–7 раз.

The same plan rendered without and with a user directive

Изображение: Hugging Face Blog

Готовых данных, где были бы видны планы, решения и код слайдов, не существовало, поэтому IBM Research синтезировала их большой открытой моделью-учителем: около 1000 презентаций и примерно 10 000 слайдов. К каждому примеру добавлено рассуждение в форме контрфакта, то есть с объяснением, какой вариант отвергнут и почему. Сломанные слайды чинил тот же чекер, что работает при выдаче, а объяснение переписывалось под исправленный макет.

Palette pipeline: plan → designer → coder → check & repair → deck

Изображение: Hugging Face Blog

Перед выдачей каждый слайд проходит проверку: правила ловят явные ошибки вроде битого кода цвета, геометрический чекер ищет наложение текста, обрезку и выход за границы. Помеченные слайды уходят на переписывание отдельной модели-редактору, и правка сохраняется, только если проверка подтвердила улучшение. На 131 презентации PresentBench такой контур добавил в среднем 3,5 балла.

Before/after: overlapping cards repaired into a clean grid

Изображение: Hugging Face Blog

Управлять оформлением можно директивами в двойных квадратных скобках прямо в плане, например [[make this a timeline]]. Модель обучена на 12 категориях таких указаний: макет, тон, аудитория, порядок, акценты. Авторы признают ограничение: бенчмарка, который измеряет соблюдение конкретного дизайн-языка, нет. Где и когда появятся веса Palette и под какой лицензией, в публикации не сказано.