Microsoft Research подняла качество синтетических данных для оценки Copilot на 39%
Microsoft Research построила платформу синтетических предприятий для оценки Copilot без данных клиентов. Качество данных выросло на 39%, экономия — около $100 000 на датасет.
Компания Microsoft Research построила Industry Evaluation Data Generation Platform: она создаёт синтетические организации для проверки Microsoft Copilot. Составная метрика качества данных выросла на 39% относительно первой версии генератора, отдельные отраслевые среды набрали больше 0,9 из 1,0. По оценке команды, автоматизация экономит около $100 000 на одном датасете и $300 000 по проекту.
Записи клиентов в оценке не используются: в них есть конфиденциальная информация. Microsoft генерирует синтетические тенанты — изолированные рабочие пространства со своими пользователями, встречами, письмами и документами. Правдоподобие держится на открытых источниках: базе профессий O*NET от Минтруда США, вакансиях на сайтах поиска работы и отчётах компаний для SEC.
Среды меняются во времени. У них есть история встреч, сроки проектов и переписка, которая растягивается на недели, поэтому вопросы о том, что команда решила на прошлой неделе, проверяются осмысленно.
Вопросы для тестов собирает конвейер из шести шагов. Он берёт библиотеку рабочих задач, отбирает подходящие отрасли, переписывает их языком домена, генерирует запросы по данным среды, делает формулировки естественнее и проверяет каждую на точность и уникальность.
Отраслей три: фармацевтика с регуляторными заявками и клиническими исследованиями, рынки капитала с клиентскими портфелями и комплаенсом, IT-компания со спринтами и код-ревью. В каждой среде сотни пользователей с полной историей переписки. Готовые наборы проходят автоматические проверки безопасности, включая поиск персональных данных и вредного контента.
Наборы выложены во внутреннем каталоге Microsoft для повторного использования другими командами и стали первым стандартным ориентиром оценки Copilot. Платформа работает внутри компании. Следующие задачи команды — оценка многошаговых агентных сценариев и сред, которые меняются месяцами.