dumaiОграниченная видимость помогла ИИ обобщать новые сочетания
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили десять пар одинаково обучавшихся систем из четырёх частей: одни видели все входные данные, другие — только часть. Ограниченный вариант выиграл у полностью «видящего» в 9 из 10 пар, в том числе на сочетаниях, которых не было в обучении, хотя медианная точность — результат посередине ряда — составила 0,6988 и оказалась чуть ниже заранее заданного порога 0,70.
Зачем это знать?
Результат указывает, что ограничение видимости входных данных в этом специально устроенном тесте могло способствовать обобщению новых сочетаний. Но эксперимент провели только на одной архитектуре и десяти парах систем, поэтому переносить вывод на другие задачи пока рано.
Разбор
Авторы собрали цепочку из четырёх связанных модулей: каждый модуль получал только разрешённые ему свидетельства и передавал дальше два непрерывных числовых сообщения фиксированной ширины. Во всех остальных отношениях пары были близнецами: одинаковые начальные параметры, порядок примеров, разметка токенов и вычисления. Меняли только маску внимания — правило, которое определяет, какие части входа модуль может видеть. Так удалось отделить влияние ограниченной видимости от случайностей обучения.
Задачу заранее закрыли от исследователей: система должна была выполнять композиции функций на естественном языке, включая новые формулировки и сочетания операций. Когда сообщения перерезали, все ограниченные системы падали до уровня случайного угадывания — значит, ответ действительно зависел от обмена между модулями, а не от одного сильного модуля. В шести проверенных ограниченных системах сообщения с одинаковым значением можно было переносить между примерами: поведение почти сохранялось. Разрушение сообщения ломало результат, а подмена на специально выбранное сообщение направляла ответ к математически ожидаемому результату.
Особенно важно, что преимущество сохранилось на программах с составной функцией, которой не было среди обучающих примеров: на третьем уровне глубины разница составила 0,558. Это похоже на появление повторно используемого «языка» обмена, где важнее передаваемое значение, чем конкретный эпизод. Но ограничение не оказалось обязательным условием: единственная хорошо сработавшая система с полной видимостью тоже нуждалась в сообщениях. При этом её сообщения с одинаковым значением нельзя было так же свободно переносить между эпизодами. Полная заранее зарегистрированная проверка всё же не пройдена: медиана точности ограниченных систем оказалась чуть ниже установленного порога.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, который ещё не прошёл обычную проверку рецензентами. Сравнение хорошо контролировали, но масштаб небольшой: всего десять пар и одна архитектура; кроме того, вся заранее зарегистрированная батарея формально провалилась из-за результата 0,6988 ниже порога 0,70, поэтому вывод пока относится именно к этому протоколу.
- Это препринт, поэтому результаты ещё не прошли независимую экспертную проверку.
- Вывод основан на специально сконструированном протоколе, одной архитектуре и десяти парах моделей; переносимость на другие системы и задачи не показана.
- Полный заранее зарегистрированный набор критериев формально не выполнен; часть дополнительных анализов была добавлена уже после получения результатов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено