Anthropic разрабатывает FlashProve для проверки, какая модель создала ответ

Anthropic разрабатывает открытую систему FlashProve, которая подтверждает, какой моделью создан конкретный ответ. О работе компания рассказала в блоге во вторник. Метод исследователи называют «доказуемым выводом» (provable inference): происхождение текста подтверждают криптографическим доказательством, а не заверениями разработчика.

Работает это похоже на подпись в зашифрованной почте. Лаборатория публикует для каждой модели «отпечаток», а механизм сверяет его с готовым ответом. Подделать отпечаток не удастся даже компании, которая обучила и запустила модель, — проверка не опирается на её добросовестность.

Отпечатки не раскрывают веса модели: внутренние параметры остаются коммерческой тайной. Поэтому схема подходит и для закрытых моделей вроде решений Anthropic и OpenAI. Проверку можно провести на своём устройстве, без обращения к серверу разработчика.

Практическая польза — контроль за подменой. Компания не сможет тихо перевести запросы на более дешёвую модель, чтобы сэкономить, или на более дорогую, чтобы завысить результаты тестов. Пригодится система и для проверки чужих заявлений: например, что библиотеку просканировал конкретный сильный ИИ-сканер уязвимостей.

Вместе с описанием Anthropic выложила технические спецификации и рабочие фрагменты кода под открытой лицензией на GitHub. Внедрять FlashProve в свои продукты или продукты других лабораторий компания пока не собирается: исследование продолжается, а авторы называют публикацию промежуточным результатом, который должны проверить и доработать другие.