Некоторые модели ИИ воспроизвели тестовые задания, которых им не давали
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили четыре открытые модели на 20 наборах заданий. Одна из моделей полностью воспроизвела 96,3% заданий HumanEval и 85,4% вопросов OpenBookQA. Когда воспроизведённые задания засчитали как ошибки, средние оценки моделей снизились на 1,3–16,6 пункта.
Зачем это знать?
Оценки открытых моделей ИИ могут отражать не только умение решать задачи, но и запоминание тестов. Из-за этого сравнивать способности моделей по таким оценкам сложнее.
Разбор
Авторы давали моделям несколько примеров заданий и просили продолжить текст. Затем они сверяли выданный текст с остальными заданиями: учитывали только случаи, когда модель воспроизводила задание целиком вместе с ответом.
Модели заметно различались. Одна воспроизвела 96% заданий по программированию вместе с готовыми решениями, а другая — 9%. В проверке вопросов с вариантами ответов первая модель воспроизвела 85% вопросов с ответами, а вторая не воспроизвела ни одного.
Ключевые цифры
Можно ли доверять
Авторы сравнили ответы четырёх открытых моделей с заданиями из 20 наборов. Они засчитывали только полное совпадение задания и ответа, поэтому могли пропустить случаи, когда модель воспроизвела их другими словами или не целиком.
- Это препринт, ещё не прошедший рецензирование.
- Проверены только четыре открытые базовые модели и 20 бенчмарков.
- Утечку искали специальным продолжением генерации и по строгому совпадению; результаты не показывают автоматически, что каждый опубликованный лидербордный балл был завышен на указанную величину.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено