dumaiНужные данные не всегда помогали ИИ найти причину сбоя в вымышленной системе
Препринт, ещё не рецензирован · ранние данные
Кратко
Модели испытывали на искусственных системах с вымышленными генами. Claude Opus 4.6 и Sonnet 4.6 помогли всем вымышленным организмам, но верно установили причину сбоя у 55% и 35% из них соответственно. Моделям было трудно заранее предсказать, какой результат даст опыт при каждой из возможных причин.
Зачем это знать?
Для научных помощников ИИ работающее решение ещё не означает, что они верно установили причину проблемы. Испытание на вымышленных системах помогает понять, как модели могут ошибаться, даже когда у них есть нужные данные.
Разбор
Исследователи сравнили семь моделей в опытах с вымышленными системами. Каждая модель должна была найти скрытую причину сбоя и вернуть организм в здоровое состояние; все модели чаще справлялись со второй задачей, чем с первой.
Нужные данные часто попадали в результаты опытов. В 91% подходящих испытаний модели получали данные, которые позволяли различить возможные причины сбоя, но всё равно часто ставили неверный диагноз. Дополнительные проверки показали: если моделям явно объясняли, какой результат опыта соответствует каждой причине, они надёжно использовали эти сведения и могли найти их в полной записи опытов.
Ключевые цифры
Можно ли доверять
Исследователи проверили семь моделей в опытах с искусственными системами, где причина сбоя была известна исследователям. Результаты получены на вымышленных организмах, поэтому по ним нельзя судить, как часто такие ошибки будут возникать в настоящих научных исследованиях.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы получены в детерминированных синтетических сетях с вымышленными генами, а не в реальных научных экспериментах.
- Проверялись семь LLM в специально заданной экспериментальной среде; переносимость на другие модели и задачи неясна.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено