dumaiОдних слов недостаточно, чтобы точно понять намерение говорящего
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы математически оценили предел точности, с которой смысл можно восстановить только по форме фразы, даже если текст обрабатывает современная языковая модель. Проверка на искусственных языках, китайских фразах с пропущенными местоимениями и описаниях цветов согласовалась с выводом: часть неопределённости снимается только сведениями о ситуации и собеседниках.
Зачем это знать?
Это ранний теоретический результат, задающий границу для ожиданий от ИИ: больше текстов и более сложное внутреннее устройство не заменяют сведения о ситуации, в которой прозвучали слова.
Разбор
Авторы не сравнивали отдельные модели между собой в обычной гонке за точность. Они сначала описали язык как совместное распределение трёх вещей: намерения говорящего, ситуации и произнесённой фразы. Затем вывели математические ограничения для любого способа представить текст — от простых признаков до скрытых состояний больших языковых моделей. Эти ограничения работают и когда смысл можно разбить на отдельные варианты, и когда он меняется плавно, например как оттенок цвета.
Проверка шла в несколько этапов. Сначала исследователи создавали искусственные языки с заранее заданной связью между смыслом и фразой и смотрели, достигает ли реальная точность рассчитанного потолка. Затем они взяли два примера из естественного языка: восстановление пропущенного местоимения в китайском и задачу, где по описанию нужно понять, какой цвет имели в виду. Во всех случаях наблюдаемая точность оставалась ниже предсказанной границы, а в искусственных языках росла вместе с тем, насколько сама фраза позволяла различать смыслы.
Особенно показателен китайский пример: даже лучшие настройки проверенных моделей не превысили теоретический предел 0,93, а базовый уровень точности составил 0,85. Большие языковые и зрительно-языковые модели почти не улучшили этот результат. Это не доказывает, что модели бесполезны: скорее, в этой задаче в самой фразе было слишком мало сведений о пропущенном местоимении, и дополнительные данные для обучения не могли заменить зрительные и социальные подсказки.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Теоретический вывод проверили на искусственных данных и двух типах реальных языковых задач, но вывод о практической работе ИИ опирается на ограниченный набор примеров; авторы также не приводят здесь общего теста на разных языках и ситуациях.
- Это препринт, результаты ещё не прошли независимое рецензирование.
- Эксперименты охватывают несколько специально выбранных задач, а не понимание языка в целом.
- Работа устанавливает информационно-теоретические пределы и согласие с ними, но не показывает, насколько часто современные модели ошибаются в реальных диалогах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено