Разговорные ИИ теряют связность в долгих разговорах

Проблема здесь не только в том, что разговор становится длинным. Такие модели выпускают новый фрагмент речи на каждом шаге обработки, в том числе пока слушают собеседника, поэтому история быстро заполняется. Авторы проверили два подхода: одни модели хранят всё больше прошлых реплик до заполнения памяти, другие оставляют только недавний отрезок разговора. Второй подход экономит место, но может выбросить важную начальную информацию.

Для проверки создали отдельный тест долгого разговора: модели прогоняли через заранее записанные диалоги и отдельно сводили с языковой моделью, которая отвечала им вживую. Смотрели не на качество одной реплики, а на момент, когда система начинала повторяться, надолго замолкала или выдавала бессвязный набор звуков. Важный результат: ни один из пяти вариантов не оставался устойчивым на протяжении десятков минут. Модели с растущей историей иногда просто упирались в предел памяти, а модели с «окном» продолжали работать, но тоже срывались.

Авторы нашли вероятное объяснение для моделей с ограниченным окном. Когда из памяти удаляется самый первый служебный элемент, это может приводить к тишине и бессвязной речи; повторения дополнительно подпитывают собственные недавние ответы модели. Поэтому они без нового обучения закрепили этот первый элемент в памяти и отдельно ослабили склонность системы повторять себя. В проверках на двух моделях это резко снизило число сбоев: у одной повторения и бессвязная речь исчезли во всех 40 запусках, хотя длительное молчание полностью не пропало; у другой молчание осталось заметной проблемой.