dumaiОбучение сделало научные идеи ИИ разнообразнее и оригинальнее
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы обучали языковые модели по отдельным критериям творчества, чтобы они предлагали менее предсказуемые направления исследований. Разнообразие направлений выросло на 27,8%, разнообразие способов научного вклада — на 14,9%, а расчётная оценка оригинальности идей — на 66,2 пункта; простое добавление случайности при создании ответов такого эффекта не дало.
Зачем это знать?
ИИ может предлагать исследователям более широкий набор направлений, но цифры относятся к оценкам предложений и их предполагаемого цитатного потенциала, а не к реальным открытиям.
Разбор
Авторы не просто попросили модель «быть креативнее». Они превратили поиск научной идеи в цепочку действий: модель могла искать работы в arXiv, рассуждать и формулировать предложение — всего до пяти шагов за один проход. Затем её дообучали с подкреплением: система оценивала не только готовую идею, но и то, как модель к ней пришла и какой тип творческого хода выбрала. Для оценки поиска использовали внешнего судью GPT-4.1.
Сравнение показало, что решающим оказался не общий уровень случайности, а подсказка о том, какую именно творческую стратегию применять. Простое повышение «температуры» — настройки, которая делает ответы менее предсказуемыми, — не воспроизвело результат. При этом разные способы обучения давали разные компромиссы: оценка самого результата лучше всего расширяла набор направлений и в целом сохраняла качество, а награда за процесс могла повысить оригинальность, но одновременно сузить охват и снизить ожидаемый цитатный эффект.
В наиболее сильной конфигурации модель AI Night-Scientist-14B получила более высокие оценки ожидаемой цитируемости и оригинальности, чем исходная модель. Но это всё ещё проверка предложений на основе автоматических и модельных оценок: авторы не показывают, что эти идеи уже привели к опубликованным открытиям или работают в лаборатории. Поэтому результат скорее говорит о новом способе направлять поиск идей, чем о готовом «учёном» на замену исследователю.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты журнала. Модели сравнивали на автоматически сформированных научных предложениях, а их качество оценивали в том числе другой языковой моделью; реальные эксперименты, публикации и последующие цитирования в абстракте не показаны.
- Это препринт, а не прошедшая рецензирование публикация.
- Оцениваются сгенерированные исследовательские предложения и предсказанный цитатный потенциал, а не реальные результаты исследований или фактические цитирования.
- Результаты получены на конкретных языковых моделях и настройках обучения, поэтому их обобщаемость неясна.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено