Спекулятивный вызов инструментов совмещает ожидание ответа с генерацией кода

Агент, который пишет код и по ходу дела дёргает инструменты, теряет время на ожидании: сначала дописал вызов, потом ждёт результата, потом продолжил. Работа под названием sPTC предлагает не ждать: пока модель ещё печатает, система угадывает безопасные вызовы и запускает их заранее в копии окружения.

Выигрыш пока скромный — примерно от одного до 1,2 раза. Значение авторы видят в другом: оптимизацию переносят с уровня отдельных токенов на уровень порядка работы агента, где ожидание инструментов и есть основная пауза.

Сравнение, которое повторяют в обсуждении, — спекулятивное исполнение в процессорах: выброшенная работа не страшна, если угадывается большинство случаев.

alex zhang@a1zhang

Introducing Speculative Programmatic Tool Calling (sPTC)! A general class of technique for speculating on tool calls during code generation in a harness and queuing them early to overlap with token generation + REPL execution time. Blog: https://t.co/0nzkLvTXNy https://t.co/SVH8D2JyEg

1 15224 августа 2026