Anthropic открыла протокол FlashProve — он проверяет, что ответ дала заявленная модель

Anthropic открыла код FlashProve — протокола, который позволяет проверить, что ответ выдала именно заявленная модель, а не подменённая. Проверяющий при этом не получает доступа к весам: поставщик прикладывает к ответу криптографическое доказательство, и его можно сверить со стороны.
Задача прикладная. Сервисы-маршрутизаторы, которые раздают запросы по разным поставщикам, могут втихую подставить модель подешевле; в корпоративном контуре подменить модель может и злоумышленник. Проверить это сейчас нечем — ответ модели недетерминирован, повторный запуск даёт другой текст.
Anthropic называет выложенное прототипом и описывает его как прогресс, а не готовое решение: доказательства пока дорогие по вычислениям.
Что говорят
vintagedaveHacker News
Провайдеры вроде тех, что на OpenRouter, иногда подменяют модель — это бы отловилось. Но ходят слухи, что некоторые хосты гоняют модели в квантованном виде, не сообщая об этом: что мешает подписывать настоящими весами, а считать квантованными?
anonymous908213Hacker News
«Пользователь не может проверить, что ответ пришёл от заявленной модели» — интересно, какой же разработчик мог бы заставить пользователей об этом волноваться? Забавный пиар-ход от компании, которую уличили в тихом перенаправлении запросов на более слабую модель.
ajbHacker News
Интересно, но свойство доказывается не то, которое нас волнует. Оно говорит лишь, что вас не надули подсунутой дешёвой моделью, — это базовая гигиена. Ни об утечке ваших данных, ни о качестве ответа оно ничего не сообщает.