Bottlecap AI урезала рассуждения модели Gemma-4 на 39–69% без потери точности

Разработчики из Bottlecap AI показали ThinkingCap — надстройку, которая заставляет модель Gemma-4-26B-A4B думать короче. На тех же задачах она тратит на 39–69% меньше рассуждающих токенов и не теряет в точности.

Рассуждающие токены — это текст, который модель пишет себе для обдумывания перед ответом; пользователь его не видит, но платит за него и ждёт. Поэтому сокращение размышлений напрямую снижает счёт за запрос и задержку.