Разработчик месяц чинил память агента, а помогла правка промпта за вечер

Разработчик месяц улучшал поиск по памяти агента — механизм, которым модель достаёт из архива нужный фрагмент прошлых разговоров. Метрика Recall@5, доля случаев, когда нужный фрагмент попал в первую пятёрку найденных, выросла на 17%.

На качестве ответов это почти не сказалось: тест Макнемара дал p = 0,79, то есть прирост неотличим от случайного шума. Причина обнаружилась в промпте — модель отказывалась отвечать, когда контекст казался ей недостаточным.

Одна правка формулировки в промпте дала плюс 16 процентных пунктов за вечер. Вывод автора: улучшать поиск бессмысленно, пока модель не пользуется тем, что уже нашла.