Исследователи вынесли управление контекстом из модели в код — качество не упало

Исследователи предложили управлять контекстом агента через харнес — код вокруг модели, который формулирует задачу и разбирает ответ. Идея в том, чтобы модель вообще не работала с длинным контекстом: харнес сам решает, что подложить в окно на каждом шаге, а остальное держит снаружи.

В предыдущих работах контекст переписывала сама модель, обращаясь с ним как с файлом на диске. Здесь ответственность вынесена наружу, и качество от этого обычно не проседает, а иногда растёт.

У подхода две оговорки: сбрасываются кеши запросов, из-за чего обещанной экономии денег может не быть вовсе, а код авторы не выложили.