dumaiИИ стал лучше формулировать проверяемые научные гипотезы
Препринт, ещё не рецензирован · ранние данные
Кратко
Система DiscoveryRSI улучшала автоматически придуманные гипотезы в четырёх областях наук о жизни: после двух циклов самосовершенствования оценка выросла с 4,86 до 5,39. В отдельной проверке её гипотезы совпали с 6,3% будущих научных публикаций — против 2,5% у GPT-6 и 2,3% у Claude Opus 5; оценки опираются главным образом на автоматическую проверку и предварительные отзывы людей.
Зачем это знать?
Для будущих ИИ-помощников учёных это шаг к системам, которые не только предлагают идеи, но и отбирают гипотезы, для которых можно спланировать проверяемое исследование. Насколько такие гипотезы действительно ценны для науки, ещё предстоит установить.
Разбор
Авторы попытались формализовать, что значит «хорошая научная гипотеза». По их правилам, одной интересной идеи недостаточно: она должна опираться на известные данные, касаться важной неопределённости, предлагать выполнимую проверку, заранее задавать критерии успеха и учитывать другие возможные объяснения. Это нужно, чтобы ИИ не ограничивался красивыми догадками, а превращал их в планы исследований, которые можно реально запустить и опровергнуть.
DiscoveryRSI строит «деревья гипотез»: от общей идеи к уточнениям, экспериментам и вариантам объяснения. Затем система превращает выбранные проверки в исполняемые задания и учится на результатах. Она отмечает, какие шаги привели к полезным научным оценкам, ищет удачные приёмы и типичные ошибки, а потом переносит улучшения на новые задачи. Такой подход отличается от обычной генерации текста: модель обучается не только на готовых ответах, но и на ходе работы над исследованием.
Для оценки авторы создали DFM-Bench — набор проверок, который смотрит не только на отдельную гипотезу, но и на её исправления, последовательность доработок и весь исследовательский прогон. Самые заметные улучшения произошли в двух свойствах: возможности опровергнуть гипотезу экспериментом и возможности получить для неё разрешающие данные. Отдельная экспертная проверка показала, что версия DiscoveryRSI-27B лучше конкурирующей системы оценивалась по важности идей и по тому, насколько её утверждения правдоподобны и ограничены имеющимися данными.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая полноценную независимую рецензию. Кроме того, основная проверка качества автоматическая, а отзывы экспертов названы предварительными; поэтому результат выглядит многообещающе, но ещё не доказывает, что такие гипотезы приведут к успешным экспериментам в реальной научной работе.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Основные показатели основаны на автоматической оценке и предварительных экспертных отзывах; неясно, насколько они отражают реальную научную ценность гипотез.
- Сравнение с другими моделями и показатель соответствия будущим публикациям могут зависеть от выбранных критериев и процедуры оценки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено