LangSmith начал сам находить в работе агента ответы, раздражающие пользователя

LangChain выпустила Tuned Evaluators — дообученные оценщики, которые разбирают записи работы агента прямо на живом трафике и ставят оценку его поведению. Первый признак, который они ищут, называется Perceived Error: момент, когда пользователь считает ответ агента ошибочным или бесполезным.

По замерам LangChain, их специализированная модель на этой задаче обошла самые мощные универсальные модели. Оценка привязывается к записи прогона, и её можно использовать дальше в процессе доработки агента — то есть жалобы находят без ручного просмотра диалогов.

Harrison Chase@hwchase17

🚀Today we launched LangSmith Tuned Evaluators, starting with Perceived Error. Tuned Evaluators run on production traces to catch undesirable agent behavior and attach feedback that you can use in your agent improvement processes. In our benchmark, our tuned model beat frontier https://t.co/b8lEEuA4RB

7918 августа 2026