Разработчики научили поисковую модель EmbeddingGemma 2 распознавать речь

Разработчики переделали EmbeddingGemma 2 — компактную модель Google для поиска по смыслу — в систему распознавания речи. Исходно модель умеет только превращать текст и звук в числовые векторы для поиска, генерировать текст она не обучена.

Авторы приделали к ней декодер и дообучили связку, получив расшифровку речи на базе, не предназначенной для этой задачи. В обсуждении на Hacker News разбирают, за счёт чего это вообще работает: звуковые векторы модели оказались достаточно информативными, чтобы по ним восстанавливался текст, хотя её учили только на сопоставление.