MIT Sloan: финансовые советы моделей зависят от формулировки вопроса

В MIT Sloan проверили, насколько можно доверять большим языковым моделям в личных финансах — теме, где ошибка стоит денег, а профессиональный совет дорог. Исследователи прогоняли типовые вопросы про долги, накопления и инвестиции.

Качество оказалось выше ожидаемого, но с оговоркой: ответ сильно зависит от того, как задан вопрос. Общий запрос вроде «стоит ли мне инвестировать» даёт расплывчатую банальность, а вопрос с суммами, сроком и обстоятельствами — разбор, близкий к тому, что скажет консультант.

В обсуждении на Hacker News отдельно отмечают вторую сторону: модель не несёт ответственности за совет и не знает того, что клиент не рассказал.