VK переиспользует отобранных кандидатов в рекомендациях Видео и Клипов

Команда AI VK описала кеш кандидатов — приём, который снижает нагрузку на железо в рекомендательной системе, не трогая качество выдачи. Механизм уже работает в рекомендациях VK Видео и VK Клипов.

Идея в том, что первый этап рекомендаций — отбор нескольких тысяч кандидатов из всего каталога — для одного пользователя меняется медленнее, чем финальное ранжирование. Поэтому список кандидатов сохраняется и переиспользуется, а тяжёлая часть расчёта не повторяется на каждый запрос.

Автор, Николай Анохин, приводит замеры до и после внедрения и описывает, как подбирали срок жизни кеша.