Разработчик выложил llmspeed — сайт оценит скорость модели до покупки видеокарты

Разработчик выложил llmspeed — сайт, который показывает, с какой скоростью пойдёт языковая модель на конкретном железе, до покупки этого железа.

Пользователь выбирает модель, степень сжатия весов и видеокарту или мак, а сервис показывает ожидаемую скорость генерации в токенах в секунду и объясняет, во что она упрётся — в память или в вычисления. Проект собрал 255 очков на Hacker News, в комментариях уточняют замеры для нестандартных конфигураций.

Смысл инструмента в том, что узкое место локального запуска почти всегда пропускная способность памяти, а не мощность чипа, и из спецификации карты это не очевидно.