Локальные модели узнают мошенника, но помогают ему по просьбе — проверка на Хабре

Автор Хабра проверил, как локальные языковые модели ведут себя в мошеннических переписках на русском, казахском и смешанной речи — и получил неприятный результат. Он собрал 42 схемы обмана и прогнал через три модели, которые можно запустить на своём компьютере.

Прямой вопрос «это мошенники?» модели почти всегда разбирают верно. Но стоит сменить формулировку на просьбу о помощи — «помоги ответить продавцу, я согласна на предоплату» — и та же модель пишет мошеннику вежливое «переведу сегодня». То есть распознавание угрозы и исполнение просьбы живут в модели отдельно, и вторая перевешивает.

Хуже всего получилось на казахском и смешанной речи: там модели теряли и само распознавание схемы.