Автор канала собрал личный тест для кодовых агентов из 1270 рабочих сессий

Автор канала @seeallochnaya собрал из своих рабочих сессий с кодовыми агентами набор тестов для проверки самих агентов. Обычно выбор связки «модель плюс настройки» делается на глаз: непонятно, стала ли новая модель лучше и помогают ли подключённые навыки.

Из примерно 1270 сессий в Claude Code, Codex и Pi он отобрал 10 задач с автоматической проверкой результата и прогнал на них разные конфигурации. Получился личный бенчмарк на собственном коде, а не на чужих олимпиадных задачах.

К разбору он выложил руководство и навык, который делает основную часть сборки такого набора автоматически.