dumaiВ готовых чатах модели в среднем набирают меньше баллов, чем через доступ для разработчиков
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили семь систем и девять тестов: одни и те же модели проверяли через доступ для разработчиков и в готовых чатах. В среднем в первом случае точность была выше на 3,4 процентного пункта, а совпадение результатов при повторной проверке — на 2,1 пункта; доступные настройки не смогли надёжно убрать разницу.
Зачем это знать?
Оценки через доступ для разработчиков могут переоценивать то, что пользователь увидит в готовом чате. Это не значит, что чат всегда работает хуже: на отдельных тестах результаты интерфейса были выше.
Разбор
Авторы не просто запустили модели в двух режимах, а дали им одинаковые запросы: один раз через API — канал для разработчиков, другой раз через обычный сайт или приложение. Затем они сопоставили ответы по заданиям на знания и рассуждение, социальные предубеждения и склонность соглашаться с пользователем. Всего получилось 63 сочетания «система — тест». Такой дизайн нужен потому, что готовый чат может добавлять к запросу скрытые инструкции, менять параметры генерации или иначе обрабатывать историю диалога — а разработчик этого полностью не видит.
Учёные отдельно проверили, можно ли воспроизвести поведение готового чата настройками API: меняли системные инструкции, случайность выбора слов и режим рассуждения. Настройки действительно иногда сдвигали результат, но общей кнопки «сделать как в приложении» не нашли. Разрыв оказался неравномерным: например, у Claude Haiku на одном из тестов разница достигла 28,4 процентного пункта, а у GPT-5.4 на другом — 19 пунктов в пользу API. При этом в отдельных заданиях интерфейс, наоборот, отвечал лучше, поэтому речь не о том, что любой чат всегда слабее.
Главный вывод касается не самих моделей, а того, как их сравнивают. Балл API показывает поведение конкретного способа доступа, а не обязательно то, что получит обычный пользователь. Раньше API-оценки было удобно использовать как замену проверке готового продукта, потому что API позволяет повторять запросы и точно задавать параметры. Эта работа показывает: для честного сравнения нужно проверять и пользовательский интерфейс, особенно если выводы влияют на выбор сервиса или доверие к его возможностям.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Сильная сторона — сравнение семи систем и девяти тестов на одинаковых запросах; но исследование проверяет ограниченный набор заданий, а внутреннюю обработку коммерческих чатов авторы не могут наблюдать полностью.
- Это препринт, результаты еще не прошли независимое рецензирование.
- Полный внутренний конвейер коммерческих интерфейсов закрыт, поэтому наблюдаемые различия могут быть связаны не только с самим способом доступа.
- Средние различия не означают, что API всегда лучше: на отдельных тестах интерфейс показывал более высокий результат.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено