Препринт — материал ещё не прошёл рецензирование
Одна модель ИИ играет по-разному на разных языках
Кратко
Три модели проверили в шести текстовых играх на восьми языках. Одна и та же модель заметно меняла силу игры, число недопустимых ходов и стратегию; иногда смена внутреннего языка рассуждений возвращала часть потерянной способности.
Зачем это знать
Работа указывает, что многоязычная модель может обладать разными игровыми навыками на разных языках. Пока это проверили только в контролируемых текстовых играх, поэтому переносить вывод на реальные приложения рано.
Разбор
Авторы сделали контролируемую проверку: две копии одной и той же модели играли друг против друга, но каждая получала задания через свой язык. При этом правила, соперник, состояние игры и возможные действия оставались одинаковыми — так исследователи отделили влияние языка от различий в знаниях и общей сложности тестов. Для этого они расширили набор текстовых игр TextArena и посмотрели не только на победы, но и на недопустимые действия, выбор ходов и поведение в разных игровых ситуациях.
Картина оказалась сложнее, чем простая разница в «знании языка». В одних играх язык влиял на понимание пространственной ситуации, в других — на решения с учётом карт или на выбор лучшего хода. Когда модель рассуждала на более сильном для неё языке, часть потери возвращалась, но не всегда: значит, язык может вмешиваться сразу в несколько этапов — от понимания состояния игры до выбора действия. Сравнение с обычными многоязычными тестами и доступностью данных в интернете объяснило лишь часть различий, а не все. Исследователи ничего не дообучали и не подбирали параметры моделей: они проверяли уже готовые системы.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому другие учёные ещё не проверили работу рецензированием. Эксперимент масштабный, но он проходит только в контролируемых текстовых играх и на трёх открытых моделях; авторы также проверяли лишь работу готовых моделей, без обучения и испытаний в реальных приложениях.
Пересказано ИИ по научной статье. Как это устроено