Artificial Analysis замерила, сколько точности теряют модели у провайдеров

Одну и ту же открытую модель можно взять у разных провайдеров, и качество будет разным — Artificial Analysis начала это мерить. Новый индекс сравнивает точность моделей у сервисов-хостеров с эталонным запуском на своём железе.

Главная находка практическая: точность режут не веса, а настройки обслуживания — лимиты на длину ответа и различия в формате вызова инструментов. Для агентов это критично: обрезанный ответ или неверный формат вызова ломают шаг целиком.

Artificial Analysis@ArtificialAnlys

Announcing the Artificial Analysis Endpoint Accuracy Index, measuring how much of an open weights model's accuracy each serverless API endpoint preserves. We are initiating coverage with GLM-5.2, gpt-oss-120b and DeepSeek V4 Pro, with Kimi K3 coming soon Providers trade off https://t.co/vnqkobtd12

811 ♡

4 августа 2026