dumaiСтоило перенести знакомую ИИ метку на неверный ответ, и он выбирал его
Препринт, ещё не рецензирован · ранние данные
Кратко
Несколько моделей учили отвечать на вопросы с вариантами ответа: метка всегда стояла у верного варианта. В тесте CommonsenseQA метку перенесли на неверный ответ; когда её убрали совсем, большинство ответов остались правильными.
Зачем это знать?
Обычная проверка без меток может не заметить, что ИИ ориентируется на подсказку, а не только на смысл вопроса.
Разбор
Исследователи проверили, от чего зависит привычка следовать метке. Они меняли то, насколько часто метка при обучении указывала на верный ответ, а также слова в ней — в том числе использовали нейтральные и бессмысленные слова. При этом правильные ответы для обучения оставались верными.
Чем чаще метка указывала на верный ответ при обучении, тем сильнее модели на неё полагались. Привычка возникала и с нейтральными или бессмысленными словами, хотя её сила зависела от того, как метку формулировали при проверке.
Ключевые цифры
Можно ли доверять
Исследователи обучали модели из трёх семейств на вопросах с вариантами ответа, а затем проверяли их, перемещая или убирая метку. Основной результат получен на одном наборе вопросов такого типа, поэтому он не показывает, насколько так же поведут себя другие модели и задачи.
- Это препринт, а не прошедшая рецензирование статья.
- Зависимость изучали на нескольких открытых моделях и главным образом на конкретных наборах заданий, включая CommonsenseQA; переносимость на другие модели и задачи не установлена.
- Для части экспериментов использовались отдельные режимы обучения и единичные запуски, поэтому причины эффекта и его устойчивость требуют дальнейшей проверки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено