dumaiПрепринт — материал ещё не прошёл рецензирование
Убедительная форма данных подталкивает ИИ к прогнозу непредсказуемого
Кратко
В опытах с 12 передовыми моделями профессионально оформленная панель с данными повысила долю решений по заведомо непредсказуемым вопросам с 6,5% до 54,0%. Тот же эффект сохранялся, даже если все числа были выдуманы: 36,8% против 24,5% без панели и 37,6% с настоящими рыночными данными. Модели обычно распознавали, что вопрос нельзя предсказать, но всё равно переходили к действию; жёсткий формат ответа мог разрушить эту защиту.
Зачем это знать
Результат указывает, что надёжность ИИ нельзя оценивать только по способности распознавать непредсказуемость: важно учитывать и отдельный переход к действию под влиянием убедительной формы данных. Пока это результат экспериментов со специально созданными задачами, он не описывает поведение всех моделей и реальных систем.
Разбор
Авторы не просто дали моделям вопросы о рынках, а проверили, на каком шаге возникает ошибка. Для одних и тех же задач они постепенно добавляли оформление: сначала голый вопрос, затем пару чисел, потом полноценную панель с индикаторами вроде RSI и MACD. Исходы заранее закрыли от моделей, а наборы по акциям и криптовалютам сбалансировали так, чтобы при случайном выборе правильный ответ встречался ровно в половине случаев. Даты также брали уже после отсечения обучающих данных моделей, чтобы исключить простое запоминание.
Затем исследователи разделили две способности, которые легко спутать. Модель могла правильно понять, что вопрос не имеет надёжного ответа, но всё равно обязаться выбрать направление. Когда её сначала просили отдельно оценить познаваемость задачи, она называла такие вопросы непредсказуемыми примерно в 90% случаев и действовала лишь в 0,4% из них. Значит, проблема не столько в незнании или неправильной оценке вероятности, сколько в переключателе «отвечать или не отвечать». На задачах, где ответ действительно можно было получить, те же модели почти всегда отвечали правильно.
Есть и практическая часть: авторы дообучили небольшую модель на искусственных примерах с костями, монетами, банками и таймерами. После этого она перестала делать необоснованные прогнозы на исходных задачах, а навык перенёсся ещё на три области. Но защита оказалась хрупкой: она работала, только если формат ответа оставлял место для рассуждения. Жёсткая форма, требующая сразу выдать решение, снова заставляла модель уверенно ошибаться даже там, где без такого ограничения она отвечала правильно.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили рецензенты. Эксперимент охватил 12 моделей и несколько искусственно построенных областей, но для спорта и особенно погоды авторы не имели закрытых исходов; погодные данные к тому же могут содержать реальную, пусть и небольшую, предсказательную информацию. Поэтому вывод о механизме выглядит содержательно, а перенос на реальные системы требует дополнительных проверок.
Пересказано ИИ по научной статье. Как это устроено