dumaiРедкие знания исчезали первыми, когда ИИ учился на текстах старых версий
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили свои расчёты на искусственно созданных данных и моделях. В неизменном мире 30% свежих данных помогали сохранить около 80% знаний; когда мир полностью менялся за смену поколения моделей, для того же уровня требовалось примерно 45%.
Зачем это знать?
Теоретическая модель указывает, что при распространении текстов ИИ сохранение знаний может зависеть от людей, которые самостоятельно узнают новое и проверяют написанное.
Разбор
Авторы сравнили расчёты с тем, что сохранили языковые модели при разных долях свежих данных. Расчёты, настроенные по обучению только на искусственно созданных данных, предсказали сохранность редких знаний с ошибкой в несколько процентных пунктов.
Не все способы обучения одинаково зависели от перемен в мире. Если каждое поколение начинало с одних и тех же заранее обученных настроек, оно было в основном защищено от этих перемен: настройки сохраняли знания, не прошедшие через цепочку копирования.
Проверка текстов тоже может работать по-разному. Отбор только правдоподобных текстов ускорял потерю знаний, а проверки, которые приносили новую информацию, помогали её остановить.
Можно ли доверять
Авторы проверили расчёты на искусственно созданных данных и языковых моделях, а поведение людей описали с помощью расчёта. Это не проверка того, как люди на самом деле пользуются ИИ и добывают новые сведения, поэтому выводы об этом остаются теоретическими.
- Это препринт с результатами вычислительных и теоретических экспериментов, а не исследование реальных пользователей или информационных систем.
- Числа получены для синтетических моделей и заданных сценариев изменения мира; их перенос на современные языковые модели и реальные данные не показан.
- Выводы о том, кто будет производить свежие знания и как люди будут вести себя, следуют из модели равновесия, а не из наблюдений за обществом.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено