Автор Хабра учил сеть без обратного распространения — вышел обычный k-means

Автор Хабра попробовал обучить скрытый слой нейросети без обратного распространения ошибки — стандартного способа обучения, при котором ошибка на выходе проходит по сети назад и правит веса. Вместо него он взял локальные хеббовские правила, где каждый нейрон меняет веса только по своим входам и выходу.

Правило в итоге свелось к обычному k-means — методу разбиения данных на кластеры, известному с шестидесятых. Обратное распространение оно не обошло ни по точности, ни при малом числе размеченных примеров, ни по устойчивости к забыванию старых данных.