Исследователи ИТМО ускорили ИИ-системы глубокого поиска примерно в шесть раз
Исследователи ИТМО ускорили системы глубокого поиска — когда модель последовательно ищет, читает найденное и уточняет запрос — примерно в шесть раз.
Узкое место такой схемы в том, что шаги идут строго друг за другом и каждый требует нового обращения к модели. Команда перестроила порядок работы так, чтобы часть шагов выполнялась одновременно, а повторные обращения с одинаковыми промежуточными результатами не делались заново.
Выигрыш получен без смены модели — только за счёт организации самого процесса поиска.