Самая дорогая модель не окупилась на рутинных задачах — замер на Хабре

Автор на Хабре проверил спор о том, нужна ли программисту самая умная модель для рутинных задач. Взял пять рутинных задач, четыре модели одного семейства, по два прогона на каждую комбинацию — сорок прогонов, с проверкой скрытыми тестами.

Поводом стала дискуссия на самом Хабре: триста комментариев без единого замера на одинаковых задачах. Здесь условия для всех моделей одинаковые, и разница в результатах видна не на ощущениях, а на прохождении тестов.

Итог: самая дорогая модель не окупилась на рутине — разрыв в результате оказался меньше, чем разрыв в цене.