dumaiУточнение задачи перед ИИ повысило качество документов на 32%
Препринт, ещё не рецензирован · ранние данные
Кратко
В онлайн-эксперименте участники сначала уточняли контекст, выбирали направление и объясняли ход мысли, а затем просили ИИ подготовить документ. Доля явно не относящихся к задаче ответов упала с 34% до 5%, но участники тратили в среднем на 2,4 минуты больше; улучшение запоминания оказалось неустойчивым.
Зачем это знать?
Результат указывает, что способ постановки задачи может влиять на качество и уместность документов, созданных с помощью ИИ. Пока это показано только в ограниченном онлайн-эксперименте, поэтому неизвестно, повторится ли эффект в реальных организациях.
Разбор
Авторы проверили не просто качество готового текста, а способ работы человека с ИИ. Перед генерацией прототип Cognistance заставлял пользователя пройти три шага: уточнить контекст, выбрать стратегическое направление и объяснить свою логику. Только после этого система создавала документ. Такой подход должен был не дать человеку полностью переложить на ИИ и подготовку ответа, и его проверку — проблему, которую авторы называют «когнитивной капитуляцией». Раньше предлагали практиковаться без помощи ИИ или просто замедлять его внедрение, но эти меры не встраивались прямо в рабочую задачу.
Особенно заметный эффект появился там, где исходный запрос был слабым: дополнительная структура помогала спасти документы, которые иначе уходили не по теме. Улучшение касалось прежде всего двух вещей — умения показать компромиссы между вариантами и связать рекомендации с выбранной стратегией. А вот техническая конкретика не стала лучше. Это важная деталь: предварительные вопросы помогли выстроить мысль, но сами по себе не добавили документу технических подробностей.
Участники, работавшие с подсказками, говорили о большей вовлечённости. При этом их собственная оценка качества не совпадала с оценкой независимых проверяющих ни в одном из вариантов эксперимента. Сразу после задания они также лучше вспоминали материал, но этот результат оказался неустойчивым при дополнительных проверках, поэтому делать вывод о долгосрочном обучении пока рано.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую рецензию. Кроме того, эксперимент был ограниченным и проходил онлайн: авторы сами отмечают, что ещё нужно проверить долговременное запоминание, способность замечать ошибки и эффект в настоящих организациях.
- Это препринт, ещё не прошедший рецензирование.
- Эксперимент был ограниченным и проходил онлайн, поэтому неизвестно, сохранятся ли результаты в реальных организациях.
- Проверка долгосрочного запоминания и способности замечать ошибки дала пока неубедительные результаты.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено