Яндекс.Метрика
← Дайджест от 14 ноября 2026

Разработчик сравнил 13 моделей на отзывах покупателей и не доверил оценку модели

Разработчик сравнил тринадцать языковых моделей на задаче автоматических ответов на отзывы покупателей Wildberries, Ozon и Яндекс Маркета и отдельно проверил саму методику оценки.

Проблема, с которой он начал: модели отвечают гладко, но пустыми обещаниями — на «часы встали через три дня» выдают «передадим замечание на производство для проверки партии», хотя никакой проверки не будет. Такой ответ проходит любую формальную проверку качества.

Основной вывод касается не моделей, а судьи: оценка одной моделью ответов другой давала результат, который не совпал с ручной проверкой, и автор от неё отказался.