dumaiМодели без специального дообучения лучше рассуждают с правильного начала ответа
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили, как начальные слова ответа влияют на способность базовых языковых моделей решать задачи. У Olmo-3-7B одна такая подсказка повысила точность в математическом тесте с 42% до 78%; после изменения обучающих текстов эффективными подсказками стали даже слова «chicken» и «Think duck duck goose».
Зачем это знать?
Базовые языковые модели могут скрывать разные способы работы, которые запускаются началами ответа, знакомыми по обучающим текстам. Универсального приёма для любых моделей из этого пока не следует: эффект проверили лишь на отдельных моделях и задачах.
Разбор
Авторы не просто перебирали удачные первые слова, а проверяли, откуда берётся их эффект. Они закрепляли начало ответа, чтобы модель не могла выбрать его сама, и смотрели, меняется ли дальнейшее решение задач. Затем сравнивали базовые модели с версиями, которые дополнительно обучали с подкреплением — то есть учили чаще выдавать ответы, получившие высокую оценку. Оказалось, что такое обучение частично не создаёт новый способ рассуждать, а делает некоторые уже знакомые модели начала ответа более вероятными.
Чтобы проверить эту идею, исследователи вмешивались в обучающие тексты. Они меняли связь между обычным словом и последующим рассуждением: так произвольное слово могло стать полезной подсказкой, а прежняя подсказка — потерять свой эффект. Это важнее простого наблюдения за промптами: эксперимент показывает возможную причинную связь между примерами в обучении и поведением модели после конкретного начала.
Авторы также нашли, что разные начала переводят модель в разные внутренние режимы, связанные с разными типами документов из обучающего набора. Это проявилось не только в математике и программировании: в отдельном примере начала ответа по-разному влияли на отказ от запроса и готовность выполнить его. Значит, одна и та же модель может выбирать не единую «способность рассуждать», а разные выученные шаблоны поведения — в зависимости от первых токенов, то есть маленьких фрагментов текста, на которые она разбивает строку.
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Эксперименты проводили на отдельных языковых моделях и наборах задач, а не на пользователях или в реальных приложениях; перенос эффекта на другие модели и запросы остаётся открытым вопросом.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Эффект показан на конкретных моделях и задачах; из абстракта нельзя заключить, что те же подсказки сработают для любых моделей.
- Работа изучает поведение языковых моделей в экспериментах, а не улучшение результатов людей или готовый практический метод.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено