Яндекс сократил расход видеокарт в режиме «Исследовать» без дообучения модели

Яндекс рассказал, как устроен режим «Исследовать» в Алисе AI — аналог глубокого исследования, когда система строит план, делает сотни поисковых запросов и собирает отчёт. Команда сократила потребление видеокарт в разы, не трогая веса модели.

Вместо дообучения переписали то, что вокруг модели: порядок шагов, отбор источников, отсечение веток плана, которые не дают нового. Лид команды Прохор описывает это как инженерию контекста — что и в каком объёме попадает модели на вход на каждом шаге.