Яндекс.Метрика
← Дайджест от 21 сентября 2026

Чат-боты чаще отвечают неверно на финансовые вопросы — проверка Financial Times

Financial Times сообщила, что ИИ-чат-боты дают неверные ответы на финансовые вопросы «в большинстве случаев». Проверяли обычные пользовательские запросы про вложения, налоги и продукты банков.

Ошибки здесь особого рода: ответ выглядит уверенно и складно, а проверить его, не будучи специалистом, сложно. Именно этим финансовые вопросы отличаются от кода, где неверный ответ обычно падает при запуске.

Что говорят
simianwordsHacker News
Модели неплохо показывают себя и в бенчмарках, и на практике, так что к статье я отношусь с большим подозрением. В исходном отчёте как минимум 7 из 10 примеров плохих ответов — от Haiku, а любой, кто хоть немного знаком с LLM, знает, что Haiku вообще не стоит использовать. Воспроизводимого набора тоже нет — доверия ноль.
ehe78qheHacker News
Статья — размытый пересказ отчёта saturnos.com. По моим наблюдениям, современные модели вполне вменяемы в общих принципах личных финансов — лучше, чем то финансовое образование, которое получает большинство. Но принимать решения о реальных деньгах я бы им не доверил: обучение отстаёт от текущей налоговой политики.
01100011Hacker News
Тестировали в один проход или с включённым рассуждением? По моему опыту, рассуждение резко снижает галлюцинации и улучшает качество ответа — без него моделям я не доверяю.