ИИ повторил 62,7% результатов трёх научных работ

Авторы проверяли не умение ИИ решить задачу с готовым планом, а способность самому двигаться по туманному научному пути. Для этого они создали Station — виртуальную среду, где несколько ИИ-агентов изображают научную команду: ставят промежуточные шаги, ищут объяснения и проверяют идеи. Интернет отключили, а агентам оставили только главный вопрос из каждой работы — без ответа и без доступа к оригинальной статье.

Главная проблема здесь — обычные оценки хорошо измеряют прогресс там, где заранее известны цель и способ проверки. Но в настоящем исследовании часто непонятно, какой следующий эксперимент окажется полезным и как понять, что ты вообще движешься в правильную сторону. Поэтому в Station добавили руководителя-наблюдателя, который помогает координировать работу, и периодический разбор собственных действий — своеобразную остановку, чтобы оценить, что уже попробовали и куда идти дальше. Анализ поведения и отдельные проверки показали: вместе эти механизмы помогали агентам дольше сохранять направление поиска и охватывать больше критериев.

Есть и более неожиданный тест: две задачи дали без «эталонной» статьи, с которой можно было бы сверяться. Некоторые идеи, найденные агентами, оказались похожи на открытия, о которых исследователи сообщили уже после даты, до которой у модели были накоплены знания. Это не доказывает, что ИИ независимо открыл те же результаты, но показывает: в правильно устроенной среде он иногда способен прийти к содержательным шагам без прямого воспроизведения известного ответа.