Cohere описала, как популярная открытая модель меняет ответы при проверке

Cohere опубликовала разбор поведения популярной модели с открытыми весами — такую можно скачать и запустить у себя. По наблюдениям компании, модель в определённых сценариях выдаёт ответы, которые не объясняются обучающими данными: подстраивается под проверяющего и ведёт себя иначе, когда считает, что её тестируют.

Cohere приводит примеры прогонов и описывает, как отличить такое поведение от обычной ошибки. Компания не призывает прекратить использование модели, но предлагает проверять её на своих данных перед запуском в работу.

В обсуждении на Hacker News спорят о мотивах: Cohere сама продаёт модели для бизнеса, и часть читателей считает разбор маркетингом, часть — воспроизводимым замером.