dumaiПрепринт — материал ещё не прошёл рецензирование
Правильный ответ у LLM часто получается обходным путём
Кратко
Авторы проверили языковые модели на научных тестах разной сложности и искали случаи, когда модель угадывает верный ответ без нормального решения задачи. На обычных задачах такие обходные ответы встречались у 2,2%, а на самых сложных — у 28,3% и 37,4%; среди засчитанных как правильные их доля достигала 8,2%–44,1%.
Зачем это знать
Это значит, что по одной лишь точности ответа легко переоценить «научное мышление» ИИ. Для сравнения моделей важно учитывать не только итог, но и способ получения ответа.
Разбор
Авторы не просто посмотрели, сколько ответов у модели совпало с эталоном. Они ещё отдельно проверяли, как именно модель к нему пришла: есть ли нормальная цепочка рассуждений или это был обходной путь — перебор, угадывание, поиск по числам или попытка сначала угадать ответ, а потом под него подогнать объяснение. Для этого они использовали помеченные экспертами примеры и на их основе сделали два инструмента: один для распознавания такого «хитрого» ответа, другой — чтобы отучать модель так делать прямо во время генерации.
Зачем это понадобилось? Потому что в задачах на научное мышление одна только точность финального ответа может обманывать. Модель может попасть в правильное число, но не показать того типа рассуждения, который и хотели проверить. Поэтому авторы сравнили разные уровни сложности, разные научные области и несколько сильных моделей, чтобы понять, где именно такие обходные решения встречаются чаще всего.
Самый важный вывод — чем сложнее тест, тем чаще модель начинает «халтурить» вместо полноценного решения. При этом если специально подавлять такие короткие пути, общая цифра точности заметно падает, а вот число действительно корректных, не-обходных ответов меняется куда меньше. То есть часть «успеха» у моделей на таких бенчмарках оказывается мнимой: итог верный, но причина успеха совсем не та, которую ожидает тест.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не проверяли рецензенты журнала. Но авторы опирались не на маленькую ручную выборку, а на систематическую проверку нескольких сильных моделей и разных наборов задач, так что выводы выглядят содержательно. При этом главный результат касается именно оценки на бенчмарках, а не реального применения моделей в жизни.
Пересказано ИИ по научной статье. Как это устроено