Thinking Machines открыла веса модели Inkling 2 Small — нужны две видеокарты B300

Thinking Machines выложила веса модели Inkling 2 Small — ранее компания обещала открыть их позже после анонса самой модели.

Это разреженная модель на 594 млрд параметров, из которых на каждый запрос работают 17 млрд. Предобучение заняло 68 часов на 12 трлн токенов, обучение с подкреплением — ещё девять дней на кластере из 2048 видеокарт. По оценке канала @ai_newz, модель сопоставима с китайскими открытыми моделями двух-трёхмесячной давности.

Для запуска нужны две видеокарты B300 или четыре H200 — на домашнем железе это не работает.