dumai
ИИarXiv cs.AI

Некоторые модели ИИ воспроизвели тестовые задания, которых им не давали

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили четыре открытые модели на 20 наборах заданий. Одна из моделей полностью воспроизвела 96,3% заданий HumanEval и 85,4% вопросов OpenBookQA. Когда воспроизведённые задания засчитали как ошибки, средние оценки моделей снизились на 1,3–16,6 пункта.

Зачем это знать?

Оценки открытых моделей ИИ могут отражать не только умение решать задачи, но и запоминание тестов. Из-за этого сравнивать способности моделей по таким оценкам сложнее.

Разбор

Авторы давали моделям несколько примеров заданий и просили продолжить текст. Затем они сверяли выданный текст с остальными заданиями: учитывали только случаи, когда модель воспроизводила задание целиком вместе с ответом.

Модели заметно различались. Одна воспроизвела 96% заданий по программированию вместе с готовыми решениями, а другая — 9%. В проверке вопросов с вариантами ответов первая модель воспроизвела 85% вопросов с ответами, а вторая не воспроизвела ни одного.

Ключевые цифры

96% против 9%Такая доля заданий по программированию появилась в ответах двух разных моделей вместе с готовыми решениями.
85% против 0%Такую долю вопросов с вариантами ответов две модели воспроизвели вместе с правильными ответами.

Можно ли доверять

Авторы сравнили ответы четырёх открытых моделей с заданиями из 20 наборов. Они засчитывали только полное совпадение задания и ответа, поэтому могли пропустить случаи, когда модель воспроизвела их другими словами или не целиком.

  • Это препринт, ещё не прошедший рецензирование.
  • Проверены только четыре открытые базовые модели и 20 бенчмарков.
  • Утечку искали специальным продолжением генерации и по строгому совпадению; результаты не показывают автоматически, что каждый опубликованный лидербордный балл был завышен на указанную величину.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас18 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыYiwei Qin, Muhang Xie, Xuefeng Li, Mohan Jiang, Dayuan Fu, Tiantian Mi, Qipeng Guo, Pengfei Liu