Опубликовано:
Google Research открыла код Agile Deliberation для субъективных классификаторов
Google Research представила Agile Deliberation: человек и ИИ вместе уточняют определение субъективной категории, а система собирает по нему классификатор изображений. Код открыт.
Google Research представила Agile Deliberation — подход, в котором человек и ИИ вместе уточняют определение субъективной категории, а итог превращается в готовый классификатор изображений. Код и алгоритмы компания открыла на GitHub. Оценку провели в 18 живых сессиях с участниками по 1,5 часа.
Обычные модели учатся на примерах, размеченных человеком, и исходят из того, что у разметчика есть чёткое определение категории ещё до начала работы. Для объективных понятий вроде дорожного знака это работает. Для «здоровой еды», «вдохновляющего искусства» или модерации контента границы зависят от культуры, личных взглядов и меняющихся правил, а человек нередко понимает их только на конкретных примерах.
Agile Deliberation делит работу на два этапа. Сначала пользователь разбивает широкое понятие на подкатегории и явные исключения: например, «салаты» и «зерновые боулы» против «обработанных продуктов». Затем vision-language модель подбирает пограничные снимки, которые спорят с текущим описанием. Пример из блога: фруктовый смузи можно счесть полезным напитком, а можно отнести к сладким обработанным продуктам. Ответы пользователя уходят в автоматический цикл оптимизации промпта, и границы классификатора сдвигаются вместе с уточнённым определением.
Проверяли подход на двух темах: «здоровая еда» и pay-to-play — кликбейт в играх и развлечениях с обещанием денег или наград. Сравнивали с тремя вариантами: zero-shot классификатором, автоматическим агентом, который сам раскладывает понятие, и ручной правкой промптов. Численных значений прироста в блоге нет. Сказано, что участники давали более согласованные метки, а их классификаторы обошли базовые варианты, особенно на сложных пограничных изображениях.
По словам исследователей, ручная подстройка промптов утомляла: участники угадывали поисковые запросы, чтобы найти исключения, и тревожились, что исправление одной ошибки испортит другие ответы. С Agile Deliberation они смотрели на подборку спорных кадров и просто отвечали на вопросы системы. Все участники предпочли этот способ ручному. Работа шла в партнёрстве Google Research и Google Ads.
Кроме кода, доступны научная статья и интерактивная демонстрация на примере «здоровой еды». Подход предлагают применять в любой области, где пользователь разбирается как эксперт, или для личной подборки по собственным вкусам.