Новые модели OpenAI провалили независимый тест Simple Bench на бытовую логику
Независимый тест Simple Bench показал слабый результат у GPT-6.2 Astra и Sol — моделей OpenAI, вышедших на этой неделе. Simple Bench собирает вопросы, где здравый смысл важнее эрудиции: человек со средним образованием отвечает лучше большинства моделей.
На фоне заявленных улучшений в рассуждении обе новинки оказались ниже ожиданий, и в обсуждении это читают как расхождение между внутренними замерами вендора и внешними тестами.
Спор в комментариях идёт о том, не попали ли задачи Simple Bench в обучающие данные конкурентов и насколько такой набор вопросов вообще отражает рабочие сценарии.
Что говорят
algoth1Hacker News
Филлип обновил таблицу, и почти все новые релизы заметно прибавили — кроме моделей OpenAI. 6.2 Sol на 30-м месте, а 6.1 Sol была на 10-м; Astra 6 — девятая, Astra 6.2 — пятнадцатая. Для сравнения, Fable 5.2 вышла на первое место, а все новые модели Google выше человеческого базового уровня.
CulonavirusHacker News
6.2 — наверняка худший по приёму апдейт за всю историю OpenAI. Хотел перевести наши старые 5.x в API на 6.2 ради цены, спросил Fable о разнице — и получил ответ в духе «не бери 6.2, отзывы плохие, модель ленится, оставайся на 6.1».
bieganskiHacker News
Попробовал пройти тест, но сломался на четвёртом вопросе: «Есть две сестры, Эми, которая всегда говорит неправду, и Сэм, которая всегда лжёт».