Нейросети устроены проще, чем принято считать — эссе бывшего исследователя OpenAI

Исследователь Ник Каммарата, который собрал команду интерпретируемости в OpenAI и теперь работает в Goodfire, опубликовал эссе «Neural Networks Are Already Clean». Интерпретируемость — попытка понять, что именно происходит внутри сети, когда она считает ответ.

Его гипотеза: сети устроены проще и упорядоченнее, чем принято думать, и представление о «чёрном ящике» держится не на устройстве моделей, а на том, что их внутренности смотрели неудачными инструментами. То есть структура там есть, и её можно читать.

Утверждение спорное: большая часть работ по интерпретируемости исходит ровно из противоположного — что признаки внутри сети перемешаны и на один нейрон приходится много несвязанных понятий.