LLM лучше справляются с оцифровкой словарей на многих письменностях

Авторы взяли старую, но очень ценную штуку — отсканированные словари на разных письменностях — и попробовали превратить их не просто в распознанный текст, а в аккуратно разобранную структуру словаря. Для этого они сделали двухшаговую схему: сначала проверяли, насколько система правильно считывает буквы и сохраняет разметку страницы, а потом отделяли одно словарное гнездо от другого и раскладывали данные по полям вроде заголовка статьи, перевода и пометок. Это важно, потому что для словаря мало просто увидеть текст: нужно ещё понять, где кончается одно слово и начинается следующее, что относится к примеру, а что — к пояснению.

Главная проблема здесь в том, что обычный OCR, то есть распознавание текста по картинке, часто ломается на редких письменностях, сложной верстке и сокращениях. Раньше такие словари было почти невозможно массово оцифровывать: страницы были набраны в несколько колонок, с перекрёстными ссылками и разными традициями оформления. Поэтому авторы и сравнили не только OCR-системы, но и универсальные языковые модели, а ещё документные модели, которые умеют работать с изображениями страниц.

Что получилось: на наборе из 30 словарей универсальные LLM в большинстве случаев справлялись лучше остальных и с распознаванием, и с разбором структуры. Но картина оказалась неравномерной: модели заметно хуже работали с письменностями, которые редко встречаются в цифровом виде, например с клинописью, сирийским письмом и арабографичными орфографиями. Ещё один полезный вывод — если дать модели дополнительный контекст, например предисловие самого словаря и правила оформления, качество разметки растёт. То есть модели помогают, но им всё ещё нужен хороший “путеводитель” по конкретному словарю.