Автоматизированный поиск Anthropic нашёл дефекты в движках vLLM и SGLang

Джош Тобин из Anthropic рассказал, что автоматизированный исследовательский конвейер компании нашёл граничные случаи, которые снижали производительность выполнения запросов в vLLM и SGLang — двух самых распространённых движках запуска моделей. Ошибки помогли исправить.

Находка получилась побочным продуктом другой работы: команда строила судью, который ловит подгонку под награду в задачах оптимизации производительности, и применила его к реальному коду. То есть инструмент, сделанный для контроля за агентом, сам нашёл дефект в чужой инфраструктуре.

Josh Tobin@josh_tobin_

A fun small win for automated research: We found and helped fix some edge cases that could affect inference performance in vLLM and SGLang. In our last blog post, we described a reward hacking judge we developed for performance optimization tasks. While applying the judge to

37127 августа 2026