dumaiPAGE помогает ИИ анализировать большие архивы комиксов
Препринт, ещё не рецензирован · ранние данные
Кратко
Система PAGE разбирает сканы на отдельные части, текст и сведения о выпуске, а затем описывает изображения по заранее заданным правилам. На 3 929 американских комиксах и 87 томах японской манги она выявила закономерности в изображении политической власти, устройстве страниц и распределении реплик между мужчинами и женщинами; часть результатов проверили люди.
Зачем это знать?
Архивы комиксов можно искать по изображённым сценам, а не только по словам, что может облегчить работу исследователей и сделать их доступнее для людей с плохим зрением. Подход проверяли на ограниченном наборе материалов и выборках результатов, поэтому эти данные нельзя автоматически переносить на историю всех комиксов.
Разбор
PAGE устроена не как один универсальный «читатель» комиксов. Сначала она превращает сканы в набор отдельных объектов: панели, текст и данные о выпуске. Затем модель смотрит на страницы по заранее написанной инструкции — например, решает, что именно считать персонажем или репликой. Часть таких оценок сравнивают с разметкой людей, чтобы понять, где система ошибается. При сравнении разных лет авторы также учитывают издателя и жанр, чтобы не принять особенности конкретной серии за общую тенденцию.
Авторы показали работу подхода в трёх разных задачах. В американских комиксах золотого века система заметила, что лицо действующего президента часто оставалось за пределами изображения. Она также обнаружила изменения самой страницы: во время войн на ней становилось меньше, но крупнее панелей, а позднее — больше слов. В американских комиксах и японской манге доля реплик женщин в целом соответствовала тому, какую долю нарисованных персонажей они составляли. Это не доказывает причины таких изменений, но позволяет увидеть закономерности сразу в архиве, а не разбирать каждый выпуск вручную.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты журнала. Сильная сторона работы — сравнение части результатов с человеческой разметкой и учёт издателя и жанра, но выводы всё равно зависят от качества сканов, инструкций для модели и ограниченного набора архивов.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую экспертную проверку.
- Человеческой разметкой проверялись выборки результатов ИИ, а не весь архив.
- Выводы основаны на американских комиксах 1938–1956 годов и 87 томах японской манги, поэтому их нельзя автоматически обобщать на все комиксы.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено