dumaiЭксперты и ИИ часто расходились в оценках ответов на ненависть в сети
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили 12 открытых моделей ИИ с экспертами по четырём признакам, включая связность и агрессивность ответов. Попарные оценки, полученные из оценок отдельных ответов, иногда лучше согласовывались с экспертными, чем прямые оценки пар. При этом модели заметно чаще сходились в оценках друг с другом.
Зачем это знать?
Для борьбы с ненавистью в соцсетях важно понимать, какие ответы на неё уместны. Согласие нескольких моделей ИИ между собой ещё не означает, что их оценки близки к экспертным.
Разбор
Исследователи сравнили оценки ИИ с оценками экспертов двумя способами. Сначала они просили модели оценить каждый ответ отдельно, а затем по этим оценкам определяли, какой ответ из пары лучше. При другом способе модели сразу выбирали лучший ответ из пары.
Результат зависел от способа сравнения. Для одной модели при оценке связности двух ответов на одно и то же сообщение показатель согласия с экспертами вырос с 0,25 при прямом сравнении до 0,35 при сравнении отдельных оценок. Этот показатель учитывает случайное совпадение: 0 означает согласие на уровне случайного, а 1 — полное согласие. Другая модель при таком же сравнении улучшила показатель с 0,07 до 0,34.
Ключевые цифры
Можно ли доверять
Авторы сравнили оценки 12 открытых моделей с оценками экспертов, проверяя как отдельные ответы на ненависть, так и пары ответов. Число ответов и экспертов не указано, поэтому по этим сведениям трудно судить о масштабе проверки; результаты также не показывают, как справились бы закрытые модели.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы основаны на сравнении 12 открытых моделей и зависят от выбранных моделей, промптов и критериев оценки.
- Даже лучшие показатели согласия с экспертами остаются низкими или умеренными.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено