Случайный порядок поиска помог ИИ находить больше решений головоломок
Препринт, ещё не рецензирован · ранние данные
Кратко
Четыре модели ИИ решали головоломки и часто выбирали один и тот же правильный ответ. Случайный порядок расширил набор используемых решений на 26–42 процентных пункта в задачах с символами и на 11–26 пунктов в логических задачах. Доля правильных ответов при этом снижалась максимум на 3 и 4 пункта соответственно.
Зачем это знать?
Головоломки показывают, что разнообразие ответов ИИ зависит не только от числа правильных решений, но и от порядка их поиска. Неизвестно, сохранится ли этот эффект при написании программ и решении других задач.
Разбор
Исследователи проверили, могут ли модели находить ответы, которые редко выбирают сами. Они многократно предлагали четырём моделям символические и логические головоломки с заранее известными наборами решений. Когда дополнительные подсказки указывали на единственный правильный ответ, модели обычно находили его, даже если прежде выбирали редко.
Порядок поиска помог предсказать, какой ответ выберут модели. На отдельных символических головоломках исследователи сравнили два порядка: по названию объектов и по числу доступных вариантов, начиная с наименьшего. Там, где эти порядки предсказывали разные ответы, второй совпадал с ответами всех четырёх моделей на 26–40 процентных пунктов чаще. Случайная перестановка условий также расширяла набор ответов сильнее, чем просьба выбирать случайно, у каждой из трёх основных моделей.
Ключевые цифры
Можно ли доверять
Четыре модели проверили на символических и логических головоломках, для которых были известны все правильные решения; число самих головоломок не указано. Это позволяет сравнивать ответы с известными решениями, но не показывает, сохранится ли эффект при написании программ или решении других задач.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы основаны на четырёх открытых моделях и искусственных задачах-головоломках, поэтому их перенос на код, планы и другие открытые задачи не установлен.
- Для части анализа использовали средство чтения ответов, выбранное после просмотра результатов; его первоначальная версия пропускала некоторые ответы.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено