Диагностика двигателя по звуку ошибалась из-за тишины, а не дешёвых телефонов

Автор на Хабре сделал сервис, который по записи звука двигателя определяет неисправность. На продакшене модель ставила «поломку» в 71% случаев — заметно чаще, чем бывает в реальности.

Первая гипотеза была про железо: дешёвые телефоны с плохими микрофонами дают шумную запись. Проверка её не подтвердила. Причиной оказалась тишина: пользователи присылали фрагменты, где двигатель не работает или почти не слышен, а модель на обучении такие записи не видела и уверенно относила их к дефектам.

Вывод автора прикладной: для аудио-диагностики нужен отдельный контроль качества входа — проверка, что на записи вообще есть предмет анализа, до того как её отдают модели.