dumaiНа связанных событиях языковые модели дают противоречивые прогнозы
Препринт, ещё не рецензирован · ранние данные
Кратко
Моделям предлагали оценивать вероятность событий, связанных с изменением цен акций. Затем исследователи проверяли, можно ли составить набор ставок против этих оценок, который принёс бы прибыль при любом исходе. Несогласованность усиливалась при более сложных связях между событиями, а случайные детали запроса иногда увеличивали её в десять раз.
Зачем это знать?
Работа показывает, что вероятностным оценкам языковых моделей нельзя автоматически приписывать внутреннюю согласованность. Но это препринт: выводы в основном основаны на прогнозах, связанных с доходностями акций, а результат может зависеть от формулировки запроса и способа получения оценок.
Разбор
Авторы не пытались проверить, угадала ли модель будущий курс. Они задавали ей наборы вопросов о связанных событиях и смотрели, совместимы ли выданные вероятности друг с другом. Затем линейная оптимизация — перебор ставок с помощью математического алгоритма — искала стратегию, которая гарантировала бы прибыль тому, кто ставит против этих оценок. Если такая стратегия находилась, это считали признаком несогласованности. Идея опирается на теорему де Финетти: набор вероятностей должен позволять принимать ставки без гарантированного проигрыша одной из сторон.
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Кроме того, эксперименты в основном проводили на прогнозах нормированных доходностей акций и подробно проверяли один открытый модельный вариант GPT-OSS-120B; пока неизвестно, сохранится ли тот же порядок результатов в других темах, моделях и при другой формулировке запроса.
- Это препринт, а не прошедшее рецензирование исследование.
- Выводы получены в основном для прогнозов нормализованных доходностей акций и могут не переноситься на другие области.
- Порядок моделей по согласованности может зависеть от условий elicitation — формулировки и способа получения прогнозов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено