dumaiПоловина ответов ИИ оказалась непригодной заказчику
Препринт, ещё не рецензирован · ранние данные
Кратко
Из 480 проверенных ответов восьми ИИ-систем 54% заказчик не мог понять по доступной ему информации или использовать для решения задачи. Явные требования к формату снизили долю таких ответов до 43%, а переписывание второй системой — до 36%; даже у лучшей системы ответы были непригодны в 30% случаев.
Зачем это знать?
Оценка учитывает не только выполнение задачи, но и то, может ли заказчик понять ответ по доступной ему информации и использовать его. В проверке восьми систем и 480 ответов именно эта пригодность часто не совпадала с успешным выполнением работы.
Разбор
Проблема возникает не во время самой работы агента, а в момент, когда он превращает внутренние заметки в финальный ответ. Обычно агент по ходу дела придумывает названия запусков, настроек и источников, а потом использует их как будто заказчик уже видел этот контекст. Авторы предложили проверять «удобство ответа» с позиции заказчика: можно ли понять текст по уже доступной информации, написан ли он на понятном заказчику языке и отвечает ли на исходную просьбу. Для этого они использовали отдельную модель-читателя и сравнили её оценки с оценками пяти людей; совпадение оказалось сопоставимым с тем, насколько сами люди соглашались друг с другом.
Оказалось, что простого предупреждения «читатель не видел внутреннюю работу» недостаточно: оно почти не меняло результат. Зато помогала отдельная инструкция о том, что именно должен содержать финальный ответ. Ещё сильнее срабатывала перепроверка второй моделью, которая переписывала готовый текст; это улучшение подтвердили люди в слепом сравнении, то есть они не знали, какой вариант был переписан.
Результат заметно зависел от типа задачи. В исследовательских задачах с вопросами по длинным документам и в бизнес-сценариях исходные ответы проваливались неодинаково: например, для одного исследовательского проекта переписывание снизило долю непригодных ответов с 66% до 38%, а для задачи о тарифах подписки — с 41% до 39%. Это показывает, что одна общая оценка скрывает важную деталь: агентам особенно трудно объяснять результат там, где во время работы появляется много внутренних названий и ссылок.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование, поэтому выводы ещё должны проверить другие исследователи. Сильная сторона работы — сравнение модели-читателя с пятью людьми и подтверждение эффекта переписывания в слепом сравнении; при этом проверка охватила четыре сценария, так что для других задач результат может отличаться.
- Это препринт, поэтому результаты ещё не прошли независимое рецензирование.
- Проверены восемь моделей и 480 ответов в рамках описанных проектов; переносимость результата на другие задачи и системы неясна.
- Оценка удобства ответа основана на специальной модели-читателе, хотя её результаты сравнивали с оценками пяти людей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено