Рост компаний два помощника ИИ оценили по-разному и выбрали разных лидеров
Препринт, ещё не рецензирован · ранние данные
Кратко
В 36 запусках две системы ИИ сравнивали Microsoft и Alphabet. Из 24 отчётов, для которых запрос задавал приоритет, 21 уделил ему особое внимание. При приоритете «рост» в отчётах системы на модели OpenAI, где был назван лидер, учитывались риск или предсказуемость и предпочтение отдавалось Microsoft. Отчёты системы на модели Anthropic оценивали темп роста и отдавали предпочтение Alphabet.
Зачем это знать?
Отчёты ИИ могут следовать одному запросу, но приходить к разным выводам из-за выбранных способов сравнения. Проверка только точности и внимания к запросу не раскрывает этих различий.
Разбор
Исследователи меняли запрос и смотрели, как помощники ищут сведения и пишут отчёты. Они просили сравнить компании с особым вниманием к росту или устойчивости либо не задавали приоритет. Затем изучили отчёты, поисковые запросы, найденные источники и ссылки в отчётах.
При оценке устойчивости помощники чаще сходились во мнении. Большинство отчётов назвало Microsoft более устойчивой, хотя помощники использовали отчасти разные основания для сравнения. Среди проверенных особенностей поиска и источников исследователи заметили различия при разных запросах только в формулировках поиска помощника на модели Anthropic.
Ключевые цифры
Можно ли доверять
Исследователи изучили 36 запусков двух помощников, которые сравнивали Microsoft и Alphabet с разными приоритетами или без них. Проверка охватила только эти две компании и этих двух помощников, поэтому по ней нельзя судить, какие выводы они сделают о других компаниях или как поступят другие системы.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы основаны на 36 запусках двух агентов и сравнении только Microsoft и Alphabet.
- Критерии и результаты зависят от конкретных моделей и формулировок запросов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено