МТС добавила в свой бенчмарк для моделей поиск подделок в документах

Команда МТС обновила MWS AI Vision Bench — открытый бенчмарк для проверки мультимодальных моделей на русскоязычных документах. Мультимодальная модель здесь та, что читает картинку страницы, а не готовый текст.

За год метрики на вопросах по документам упёрлись в потолок: модели отвечают почти одинаково хорошо, и бенчмарк перестал их различать. Поэтому в него добавили задачу антифрода — распознать подделку в документе: подрисованную печать, заменённые цифры, следы редактирования.

Это и есть смысл обновления: там, где чтение текста уже освоено, разница между моделями видна только на проверке подлинности.