dumaiИИ уверен в ошибках в шахматах со скрытой информацией
Препринт, ещё не рецензирован · ранние данные
Кратко
В специально изменённых шахматах языковые модели оценивали, где находится скрытая главная фигура соперника. В 62 случаях, когда модель заявляла уверенность не ниже 50%, правильным оказался только один ответ; законность ходов и победа в партии не гарантировали точности таких оценок.
Зачем это знать?
Для систем, которые используют уверенность модели, чтобы решать, когда действовать, успешный результат ещё не означает, что её заявленным оценкам можно доверять. Это ранний результат из необычного шахматного эксперимента, поэтому он не даёт практического совета, но показывает, зачем проверять не только действия ИИ, но и точность его оценок собственной правоты.
Разбор
Авторы не просили модель просто играть: на каждом ходу она отдельно от выбранного хода указывала вероятности для скрытой фигуры соперника. Для проверки использовали Regent Chess — вариант шахмат, где право быть главной фигурой можно тайно передавать другой своей фигуре. После партии исследователи восстанавливали настоящую историю таких передач и сравнивали её с ответами модели, то есть проверяли убеждения по факту, а не по косвенному признаку вроде победы.
Такой дизайн нужен потому, что обычные шахматы плохо подходят для проверки подобных оценок: в них короля видно, а успешный ход ещё не показывает, правильно ли модель рассуждала о позиции. Здесь авторы также сравнили несколько конфигураций моделей, включая систему от другого провайдера, и отдельно проверили, что меняется при увеличении бюджета рассуждения у одной и той же модели.
Результат оказался не только в плохой точности отдельных уверенных догадок. Почти весь обнаруженный разрыв между заявленной уверенностью и реальностью возник именно в этих случаях высокой уверенности: 99,3% в первой серии и 98,7% при повторении. При этом качество убеждений могло полностью расходиться с обычными показателями — законностью ходов, стоимостью, задержкой и долей завершённых партий. Конфигурация, которая лучше остальных проходила такие практические метрики, показала худшее качество скрытых оценок. Важно и то, что модель всё равно могла выиграть партию: если смотреть только на итог игры, проблему можно не заметить.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому независимая рецензия ещё не проверила работу. Эксперимент аккуратно сопоставляет ответы с точно восстанавливаемой истиной и включает повторение, но проверяет модели в необычной игре против фиксированного алгоритмического соперника; кроме того, авторы сами предупреждают, что формат ограниченного списка кандидатов может смешивать настоящую уверенность с тем, что модель просто не назвала нужную фигуру.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Эксперимент проведён в специально созданном варианте шахмат против фиксированного эвристического соперника; перенос на другие задачи и модели не установлен.
- Оценивались только несколько наиболее вероятных вариантов, а многие различия между конфигурациями статистически неразличимы при таком размере выборки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено