Исследователи заявили, что их схема рассуждения в сотни раз экономнее обычной
Исследователи показали подход Energy-Based Reasoners и заявили, что он выполняет рассуждение в 385 раз экономичнее обычного. Идея в том, чтобы модель искала ответ как точку минимума энергии, а не выписывала цепочку рассуждений токен за токеном.
Экономия берётся именно отсюда: длинная цепочка рассуждений — это сотни лишних сгенерированных слов, за каждое из которых платят вычислениями.
На Hacker News обсуждение собрало 52 комментария, и главный вопрос к работе — на каких задачах получено сравнение: заявленная разница измерена на наборе, который авторы выбрали сами, независимых прогонов пока нет.
Что говорят
scurnusHacker News
Это по сути то же самое, что работы про рекуррентные рассуждения: работает только на судоку и простых играх с жёсткими правилами и малым числом решений. Интересно было бы посмотреть на шахматы или го — эффективный инференс полезен, когда он даёт что-то полезное.
TopfiHacker News
Советую посмотреть на Logical Intelligence (среди прочих её возглавляет Ян Лекун) — там много контекста по энергетическим моделям. Потенциал есть там, где LLM традиционно слабы: арифметика уровня началки и счёт (при этом они же выдают доказательства в Lean на уровне задач тысячелетия). Правда, встаёт резонный вопрос: так ли важно, что LLM не умеет считать, если написать код для вычисления — надёжно и быстро?
igleriaHacker News
Насколько я понял, это отлично работает на очень узком наборе логических головоломок. Но будущие работы посмотрю с интересом.