dumaiСистема для онлайн-встреч почти не пропускала моменты для реплики
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили систему, которая может представлять человека на онлайн-встрече. На 137 записанных совещаниях она снизила долю пропущенных возможностей высказаться с 51,4% до 2,5%, а выдуманные факты появились в 0,6% случаев. Главным оказалось отслеживание хода разговора, а не просто добавление большего объёма текста о нём.
Зачем это знать?
Если подход выдержит проверку на реальных встречах и других форматах общения, ИИ сможет точнее выбирать момент для реплики от имени отсутствующего участника. Пока результат относится к записям совещаний и отдельной процедуре оценки, а не напрямую к качеству участия людей.
Разбор
CAPA устроена не как один длинный промпт, а как цепочка из нескольких ролей. Один модуль ведёт «карту» разговора: кто какую позицию высказал, какие идеи уже прозвучали и кому сейчас принадлежит очередь. Другой пытается предсказать ближайшее развитие беседы. Затем отдельный модуль решает, стоит ли вмешиваться и какую именно мысль человека нужно представить, а последний формулирует реплику в его стиле.
После каждого хода система сравнивает свой прогноз и решение с тем, что произошло дальше. Специальный пересчёт обновляет состояние разговора, чтобы следующие решения учитывали предыдущие ошибки. Это важно потому, что обычный подход с увеличением объёма текста о встрече сам по себе не устранял проблему: агент мог видеть больше контекста, но всё равно не понимал, когда у человека есть подходящий момент для реплики.
Авторы проверяли не только сам текст ответа, но и три отдельные вещи: выбрала ли система правильный момент, сослалась ли на подходящую идею участника и не исказила ли её. Для этого они ввели оценку на уровне всей встречи, а не отдельных фраз. После работы CAPA ошибка изменилась по характеру: система стала гораздо реже молчать там, где стоило выступить, а оставшиеся промахи чаще сводились к выбору не той мысли или неидеальному моменту. Дополнительные эксперименты с отключением отдельных механизмов показали, что решающим оказался именно учёт состояния разговора.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому работу ещё не проверили рецензенты журнала. Проверка на 137 записях — заметный объём для такого эксперимента, но речь идёт о совещаниях из одного корпуса и об оценке по записям, а не о работе агента в живых встречах.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Оценка выполнена на корпусе AMI и протоколе с LLM-судьями; переносимость на реальные совещания и другие форматы общения не показана.
- Метрика «восстановленных» идей и низкая доля галлюцинаций относятся к экспериментальному протоколу, а не напрямую к качеству работы людей на встречах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено