Iterative Unalignment более чем в 800 раз эффективнее оценивает крайне редкие события

Проблема здесь не в том, чтобы один раз случайно дождаться сбоя, а в том, чтобы измерить его вероятность, когда нужная последовательность действий встречается почти никогда. Для обычного метода Монте-Карло это означает генерировать огромное число траекторий поведения модели и ждать редкие попадания. Авторы вместо этого временно меняют веса самой языковой модели и получают вспомогательную модель, которая чаще приводит к нужному событию.

Дальше они используют эту изменённую модель не как замену исходной, а как способ быстрее собрать полезные примеры. Специальная поправка учитывает, насколько новая модель отличается от исходной, поэтому найденные частые примеры можно пересчитать обратно в оценку исходной вероятности. Авторы обучают изменение весов градиентным методом — то есть постепенно подстраивают их по направлению, которое делает событие заметнее, но не позволяет оценке стать нестабильной.

Метод проверили в трёх группах искусственных событий: например, связанных с появлением заданных токенов и их комбинаций в последовательности. Оценки сравнивали с эталонными вероятностями, рассчитанными с относительной погрешностью менее 10%, а для каждой пары «метод — событие» выделяли одинаковый бюджет из 64 000 траекторий. Это позволило сравнить не только число найденных событий, но и вычислительные затраты на достижение заданной точности. Раньше подобный подход было трудно применять к языковым моделям: вероятность всей последовательности складывается из множества контекстно-зависимых шагов, и согласованно изменить их обычным способом непросто.