Открытость к переменам помогла ИИ лучше решать задачи по программированию
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили короткие инструкции о ценностях на ИИ, который самостоятельно улучшал свои программы, в шести задачах. На новых данных открытость к переменам обычно повышала качество решений, а стремление сохранить существующий порядок давало результат хуже, чем отсутствие ценностей. Созданные программы также различались по размеру, сложности и способу решения.
Зачем это знать?
Ценности в инструкциях могут направлять развитие ИИ, который совершенствует свои программы. Когда ИИ сам менял эти инструкции, различия между наборами ценностей сглаживались — поэтому их выбор по-прежнему требует участия человека.
Разбор
Авторы сравнили четыре набора ценностей с инструкцией без ценностей. В каждом запуске ИИ несколько раз улучшал свои программы, а ценности в инструкции оставались неизменными. Качество программ проверяли на данных, которые не использовали при их создании.
Не все готовые формулировки ценностей помогли ИИ. Ценности, взятые из научных работ об ИИ, не дали заметного преимущества перед инструкцией без ценностей.
Можно ли доверять
Авторы сравнили инструкции в нескольких задачах по программированию и проверили полученные программы на отложенных данных. Численных оценок улучшения в описании результатов нет, поэтому нельзя судить, насколько большим было преимущество или в каких задачах оно проявилось.
- Это препринт, а не прошедшая рецензирование статья.
- Вывод основан на шести задачах, десяти независимых запусках для каждого набора ценностей и 15 итерациях самоулучшения; насколько он обобщается на другие задачи и агентов, неясно.
- Результаты получены в вычислительном эксперименте с кодирующими агентами и не показывают, как такие ценности повлияют на реальные продукты или решения людей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено