Яндекс открыл код YTsaurus Flow для потоковой обработки событий

Яндекс открыл код YTsaurus Flow — системы потоковой обработки данных, которую уже используют Маркет, Реклама и антифрод. Система считает события по мере их появления, а не копит их партиями до ночного пересчёта.

За счёт этого алгоритмы быстрее замечают, что интересы человека изменились: клики и лайки попадают в подбор рекламы и товаров почти сразу. Flow работает в режиме exactly-once — каждое событие учитывается ровно один раз, без потерь и дублей при сбоях.

Код выложен в открытый доступ вместе с остальной платформой YTsaurus.