BridgeMind выпустила NerfBench — тесты, которые ловят ослабление модели после релиза

Компания BridgeMind выпустила NerfBench — набор тестов, который проверяет, не слабеет ли модель после выхода. Пользователи давно жалуются, что чат-боты «глупеют» со временем, особенно перед релизом следующей версии; на жаргоне это называют нёрфом, но доказательств обычно нет.

Схема замера простая: в день релиза модель прогоняют по тестам, этот результат принимают за сто процентов, дальше замер периодически повторяют и следят за качеством и расходом ресурсов. Так ухудшение становится проверяемым: если лаборатория тихо урезала вычисления на ответ, это видно в динамике, а не в ощущениях пользователей.