Karpathy заменил пеликана на велосипеде тестом с бюджетом в миллион токенов

Стандартной проверкой моделей несколько лет был запрос «нарисуй SVG-картинку пеликана на велосипеде» — короткая задача, по которой сравнивали качество. Андрей Карпатый говорит, что этот тест устарел: модели рисуют пеликана хорошо, а работают теперь долгими прогонами.

Вместо картинки он дал Opus 5 первый абзац «Властелина колец», бюджет около миллиона токенов (примерно $10) и просьбу развернуть его в большую работу. Смысл теста — не одна реплика, а что модель делает, когда у неё есть много шагов и никто не подсказывает.

Пост собрал больше 25 тысяч лайков и почти 400 комментариев на Hacker News, где спорят, можно ли вообще сравнивать такие прогоны между моделями: результат каждый раз разный, а оценивать его приходится вручную.

Andrej Karpathy@karpathy

We're starting to leave the territory where you'd test an LLM by e.g. "create an svg of pelican on a bicycle". As one idea to generalize it, I was interested what Opus 5 would do if I gave it the first paragraph of the Lord of the Rings, a 1M token budget (~$10) and asked for https://t.co/ybIpXhYSsj

25 070 ♡

2 августа 2026