ИИ осваивал новый навык по меньшему числу примеров, если уже учился другим
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы исключали примеры отдельных навыков при обучении моделей на пяти типах задач, в том числе связанных с шахматами и веб-текстами. Когда такие примеры возвращали, моделям требовалась лишь малая доля данных по сравнению с обучением навыку с нуля.
Зачем это знать?
Исключение данных может лишь отложить появление нежелательных способностей ИИ, а не предотвратить его. Для реальных опасных навыков такой эффект ещё не показан.
Разбор
В шахматах модель частично освоила навык, даже не получая прямых примеров. Модель, которую не учили отвечать на шах, почти так же хорошо расставляла допустимые ходы по качеству, как модель с таким обучением.
Чем больше модель успевала выучить на остальных данных, тем меньше примеров ей требовалось для возвращённого навыка. Для сравнения авторы предложили моделям другое правило сходной сложности: его они учили гораздо медленнее.
Можно ли доверять
Авторы проверили модели на шахматах, текстах и других задачах: убирали данные для отдельных навыков, а затем возвращали их. Реальные опасные навыки они не проверяли, поэтому нельзя напрямую переносить на них эти результаты.
- Это препринт, а не прошедшее рецензирование исследование.
- Результаты получены в пяти контролируемых доменах и на моделях размером до 7 миллиардов параметров; их перенос на другие модели и реальные опасные способности не показан.
- Работа изучает задержку и стоимость последующего обучения, а не гарантированную защиту от конкретных вредных возможностей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено