Агент для науки лучше работает при продуманной среде

Авторы предлагают смотреть на автономного научного агента не как на «умную модель, которая всё сделает сама», а как на систему, которой нужно правильно устроить рабочую среду. Идея простая: если дать одной и той же модели разные правила доступа, разные способы сохранять промежуточные результаты, разные рамки бюджета и разный формат общения с человеком, то она может работать заметно по-разному. Поэтому они собрали EurekAgent — агентную систему, где среду специально настраивают под научный поиск, а не оставляют её случайной.

Что именно они сделали? Они выделили четыре слоя настройки. Первый — ограничили, что агент вообще может делать, и как проверяются его действия, чтобы он не «разъезжался» в лишние эксперименты. Второй — дали удобный способ работать с файлами и Git, то есть с системой, где удобно хранить версии кода и промежуточные артефакты. Третий — заставили агента учитывать бюджет, чтобы он не тратил ресурсы без оглядки. Четвёртый — оставили понятный канал для человека, чтобы можно было быстро вмешаться и не превращать контроль в тяжёлую рутину.

Почему это важно? До этого основной разговор вокруг таких систем часто сводился к тому, как улучшать саму модель или прописывать ей лучший сценарий действий. Здесь авторы утверждают, что узкое место уже смещается в сторону среды: именно она может либо подталкивать агента к полезному исследованию, либо загонять его в тупик, где он начинает искать короткие пути и обходить задачу. В итоге EurekAgent показал лучшие результаты на нескольких наборах задач из математики, разработки ядер и машинного обучения, а ещё нашёл новое лучшее решение для задачи о 26 кругах, потратив на API меньше 11 долларов.