Стэнфорд начал обучение открытой модели Marin на 535 млрд параметров

Проект Marin в Стэнфорде обучает большие модели публично: план, конфигурации и промежуточные результаты выкладываются по ходу дела, а не после релиза. Перси Лян сообщил, что на этой неделе стартовал прогон Marin 535B-A23B — модели на 535 млрд параметров, из которых на каждый запрос работают около 23 млрд.

Бюджет прогона: 18,75 трлн токенов, 11 стоек GB200 NVL72, около трёх месяцев и 2,7e24 операций с плавающей точкой. Восемьдесят процентов уходит на предобучение, остальное — на промежуточный этап; дообучение будет позже.

Перед запуском команда обучила лестницу из четырёх моделей меньшего размера, чтобы подобрать параметры большого прогона.

Percy Liang@percyliang

🚢 Marin 535B-A23B started training this week! As usual, the whole process is open. Voyage plan: pretraining (80%) + midtraining (20%) on 18.75T tokens on 11 x GB200 NVL72 for ~3 months (2.7e24 FLOPs). Post-training will follow. Before kicking off the run, we trained a 4-rung https://t.co/M3FwIy56Ot

2 31121 августа 2026