ИИ-помощник службы безопасности не ошибся на тесте и дал 39 ошибок из 100 вживую

Автор Хабра собрал локального помощника для первой линии центра мониторинга безопасности и показал разрыв между тестом и работой. На синтетических данных модель не дала ни одной ложной эскалации — то есть ни разу не подняла тревогу зря.

На реальном потоке событий из ста разобранных случаев ошибочными оказались 39. Причина в том, что синтетика содержала чистые, однозначные инциденты, а живой поток полон шума, повторов и частично заполненных полей.