dumaiНекоторые ИИ хуже отвечают по-украински в кризисных ситуациях
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы собрали SPLIT — набор из 500 кризисных запросов на английском и украинском — и проверили три модели. Gemini-2.5-Flash и LLaMA-3.3-70B-Instruct заметно просели на украинском, а DeepSeek-V3 в этом наборе оставался стабильнее.
Зачем это знать?
Это показывает, что при проверке таких систем важно смотреть не только на язык ответа, но и на эмпатию, уместность и культурный контекст.
Разбор
Авторы не просто сравнили модели на случайных репликах, а собрали отдельный тест для кризисных ситуаций — SPLIT. В нём 500 запросов про стресс, панику, одиночество, внутреннее перемещение и напряжение, причём каждый сценарий проверяли сразу на английском и украинском. Это важно, потому что в таких ответах мало просто «понять смысл»: модель должна звучать по-человечески, не быть сухой и при этом учитывать местный контекст.
Дальше они прогнали через этот набор три разные модели и смотрели на три вещи: насколько ответ эмпатичен, насколько естественно он звучит и насколько хорошо попадает в культурный контекст. Ещё один слой работы — проверка схемы, где не только люди, но и ИИ выступают в роли судей и оценивают ответы других моделей. То есть авторы исследовали не только сами ответы, но и то, можно ли доверять автоматической оценке в таких чувствительных задачах.
Самый интересный результат — переход на украинский оказался для некоторых моделей не просто сменой языка, а заметным провалом в качестве поддержки. Gemini-2.5-Flash и LLaMA-3.3-70B-Instruct чаще проседали, а DeepSeek-V3 держался стабильнее. При этом авторы отдельно показали, что даже если текст грамматически звучит нормально, это ещё не значит, что он будет по-настоящему уместным и поддерживающим для человека в кризисе.
Ключевые цифры
Можно ли доверять
Это preprint на arXiv, значит, работу ещё не проверяли рецензенты. Но набор довольно конкретный: 500 кризисных запросов, три модели и сравнение по нескольким типам оценки. Это делает результаты полезными как сильный ориентир, хотя их всё равно стоит перепроверять на других языках и в реальных сценариях.
- Это препринт, а не рецензированная работа.
- Оценивали только 3 модели и 500 сценариев.
- Результаты относятся к конкретному набору кризисных запросов и могут не переноситься на другие языки или задачи.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено