Бенчмарки для моделей устаревают вдвое быстрее прежнего — разбор на Хабре

Автор Хабра собрал 224 бенчмарка для языковых моделей и посчитал, как быстро они устаревают. Повод — свой винный бенчмарк OenoBench, поданный на конференцию NeurIPS: ревьюеры спросили, какой результат на релизе считать достаточным и сколько тест вообще проживёт, а опоры для ответа не нашлось ни у кого.

По расчётам автора, период полураспада бенчмарка — время, за которое половина запаса сложности съедается моделями, — сократился вдвое: 19 месяцев вместо прежних 38. То есть тест, который раньше оставался содержательным три года, теперь перестаёт различать модели за полтора.