Новая программа в тестах лучше прежних отличала лица от ИИ от настоящих
Препринт, ещё не рецензирован · ранние данные
Кратко
Систему TwinD обучали на специально созданных «двойниках» настоящих кадров и проверили на 19 наборах данных. По показателю способности отличать подделку от настоящего кадра она набрала 95,6% для лиц, созданных целиком, против 78,1% у лучших прежних систем.
Зачем это знать?
Проверка видео может стать надёжнее для разных способов создания лиц с помощью ИИ. Насколько система справится с новыми подделками вне испытательных наборов, неизвестно.
Разбор
Программу обучали на поддельных кадрах и двух видах их искусственных двойников. Для первого вида настоящий кадр заново создавали с помощью программы и возвращали на случайный участок исходные пиксели. Для второго изменённую копию кадра смешивали с оригиналом.
Программа также хорошо различала кадры, в которых созданное лицо вклеили в настоящую запись. На десяти наборах таких кадров показатель различения составил 98,1% против 96,2% у лучшей прежней программы. Даже без обучения на наборе готовых подделок, только на двойниках, показатель в среднем за три запуска достигал 94,3%.
Ключевые цифры
Можно ли доверять
Программу проверили на 19 наборах данных с настоящими и поддельными кадрами и сравнили с прежними программами. Проверка показывает результат на этих наборах, но не гарантирует, что программа так же хорошо распознает новые подделки вне них.
- Это препринт, а не прошедшая рецензирование статья.
- Результат получен на бенчмарке из 19 датасетов; по аннотации неясно, насколько хорошо метод работает на реальных новых дипфейках вне этого набора.
- AUROC — показатель качества классификации, а не гарантия, что конкретный ролик удастся надёжно проверить.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено