Разработчик сравнил 13 моделей на отзывах покупателей и не доверил оценку модели

Разработчик сравнил тринадцать языковых моделей на задаче автоматических ответов на отзывы покупателей Wildberries, Ozon и Яндекс Маркета и отдельно проверил саму методику оценки.
Проблема, с которой он начал: модели отвечают гладко, но пустыми обещаниями — на «часы встали через три дня» выдают «передадим замечание на производство для проверки партии», хотя никакой проверки не будет. Такой ответ проходит любую формальную проверку качества.
Основной вывод касается не моделей, а судьи: оценка одной моделью ответов другой давала результат, который не совпал с ручной проверкой, и автор от неё отказался.