← Дайджест от 3 ноября 2026
Исследования
4 источникаHN 910
4 источникаHN 910Эффект нашумевшего опыта MIT даёт простой перебор — разбор разработчика spaCy
Разработчик Мэтью Ханнибал (honnibal, автор библиотеки spaCy) разобрал нашумевший эксперимент MIT CSAIL, где модель Astra «читала и правила веса» маленькой Qwen3.5-0.8B, и назвал подачу вводящей в заблуждение. Веса — это числа внутри нейросети, которые обычно меняют только обучением; в опыте модели дали к ним прямой доступ и до пятидесяти пробных прогонов.
По разбору, Astra не столько «поняла» веса, сколько перебором нашла, какие нейроны в MLP-блоках гасят зацикливание. Честной базовой линии в сравнении не было: тот же результат даёт простой перебор без всякой «интерпретации».
На Hacker News разбор собрал больше откликов, чем сам исходный пост: спор идёт о том, что считать базовой линией в таких экспериментах.
Что говорят
sheepscreekHacker News
Автор разбора сам лукавит. Сам факт, что LLM по одним только сырым весам понимает, что умеет модель, — это открытие. То, что мы не можем впихнуть в контекст достаточно весов, — техническое ограничение, которое не обесценивает находку: это неожиданное эмерджентное поведение.
kenjacksonHacker News
Исходный пост объясняет, что и зачем было сделано, лучше, чем этот разбор. Я не узнал тут ничего, чего не было в оригинале.
GavinAndereggHacker News
Идея «программирования в пространстве весов» меня всё равно впечатляет — возможно, потому что до прочтения я вообще не знал, что LLM способны понимать и успешно править веса. Да, люди могут написать для этого инструменты, но и автор разбора признаёт, что это непросто, а Astra справлялась с весами на удивление легко.