Новый способ обучения помог ИИ чаще учитывать опасность на фото и аллергию
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы создали набор тестов, где помощнику нужно заметить опасность на изображении и учесть, например, аллергию человека. После обучения доля ответов, справившихся с обеими задачами, выросла с 12,9% до 28,6% по сравнению с исходной моделью.
Зачем это знать?
Помощники с ИИ могли бы давать более уместные ответы об опасности, учитывая сведения о человеке. Проверка ответов в тестовых ситуациях ещё не говорит о безопасности их применения в жизни.
Разбор
Авторы проверяли не только общий успех, но и отдельные части ответа. Например, они смотрели, обращается ли помощник к сведениям о человеке, учитывает ли их и отказывается ли отвечать, когда это уместно.
Обучение проходило в два этапа: помощник обращался к сведениям о человеке по мере надобности или получал их обязательно. После обучения он также чаще давал подходящий ответ об опасности и правильнее отказывался от ответа. Улучшение сохранялось при другой проверке, когда сведения о человеке предоставляли всегда, а также при оценке ответов другим ИИ. В среднем оно проявилось и на группах опасностей, которых помощник не встречал при обучении.
Ключевые цифры
Можно ли доверять
Авторы проверяли ответы ИИ в тестовых ситуациях с разными опасностями и сведениями о человеке, сравнивая обученного помощника с исходным. Улучшение сохранялось при оценке другим ИИ и в нескольких запусках обучения. Однако такие тесты не показывают, насколько безопасно помощник будет действовать в жизни.
- Это препринт, а результаты получены на бенчмарке, а не в реальных пользовательских ситуациях.
- Показатель joint success вырос, но остался ниже 30%.
- Исследование оценивает модели и их ответы, а не безопасность применения ассистента в реальном мире.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено