Нейросети в поиске по архивам: как ИИ расшифровывает рукописи XVIII–XIX веков и помогает генеалогам

Как нейросети научились читать дореволюционные рукописи

Долгое время работа с архивными документами XVIII–XIX веков была уделом узких специалистов. Рукописные тексты того времени отличаются сложной орфографией, использованием букв, вышедших из употребления (например, «ять», «фита», «ижица»), и индивидуальными особенностями почерка. Расшифровка одной страницы могла занимать часы, а для массового поиска информации требовались огромные трудозатраты.

Ситуация изменилась с появлением технологий оптического распознавания символов (OCR), адаптированных для исторических документов. Специалисты компании Яндекс обучили нейросеть на массиве данных из сотен тысяч рукописных строк из реальных текстов XVIII–XIX веков и десятков миллионов сгенерированных примеров. Материалы для обучения размечали и расшифровывали эксперты-архивисты, они же контролировали качество распознавания. Такой подход позволил искусственному интеллекту научиться учитывать особенности почерка, узнавать утратившие актуальность буквы и понимать особую структуру архивных документов.

В результате рукописи, которые неподготовленному человеку сложно разобрать, технология почти мгновенно превращает в печатный текст. Это открыло возможность для быстрого поиска по огромным массивам оцифрованных документов.

Сервис «Поиск по архивам»: что это и как работает

В 2023 году компания Яндекс запустила сервис «Поиск по архивам», который предоставляет всем желающим доступ к оцифрованным и расшифрованным историческим документам. Сервис работает на базе описанной выше нейросети и позволяет искать информацию по рукописным документам XVIII – начала XX века.

Пользователю доступны несколько способов поиска:

• Поиск по фамилии, названию населённого пункта или любому другому слову.
• Просмотр по каталогу с фильтрами по годам, архивам, фондам и описям.
• Постраничный просмотр сканов с отображением построчной расшифровки, сделанной нейросетью. При наведении курсора на нужный фрагмент текста он подсвечивается на цифровой копии документа.

Такой интерфейс делает работу с архивами интуитивно понятной даже для тех, кто никогда не сталкивался с историческими источниками.

Какие документы можно найти в базе сервиса

На момент запуска в базе сервиса были представлены документы из Главархива Москвы, а также архивов Оренбургской и Новгородской областей. Со временем количество хранилищ и доступных отсканированных файлов увеличилось. Сейчас пользователям доступны более 5 миллионов документов из девяти архивов: одного федерального, шести региональных, одного муниципального и одного музейного. В их числе — хранилища Москвы, Московской области, Оренбурга, Великого Новгорода и Республики Мордовия.

Наибольшей популярностью у пользователей пользуются три типа документов:

• Метрические книги — записи о рождениях, браках и смертях, которые велись в церквях.
• Исповедные ведомости — списки прихожан, посещавших исповедь.
• Ревизские сказки — результаты переписей податного населения.

Эти документы содержат ключевую информацию для генеалогических исследований и изучения демографических процессов.

Кому пригодится нейросетевой поиск по архивам

Сервис «Поиск по архивам» ориентирован на широкую аудиторию, но особенно полезен он для нескольких категорий пользователей:

• Генеалоги-любители и профессионалы — люди, которые ищут сведения о своих предках. Раньше им приходилось заказывать копии документов в архивах и самостоятельно разбирать сложные рукописи. Теперь можно просто ввести фамилию в строку поиска.
• Историки, социологи и демографы — исследователи, изучающие социальные процессы, миграцию, рождаемость и смертность в прошлом. Возможность быстрого поиска по большим массивам данных открывает новые горизонты для количественных исследований.
• Краеведы и музейные работники — специалисты, занимающиеся изучением истории отдельных регионов и населённых пунктов.
• Все, кто интересуется историей своей семьи — сервис делает генеалогию доступной для людей без специальной подготовки.

Технология распознавания: как нейросеть справляется со сложными случаями

Распознавание рукописных текстов XVIII–XIX веков — задача, с которой не справляются обычные системы OCR, рассчитанные на печатные шрифты. Нейросеть Яндекса решает её благодаря нескольким особенностям:

• Обучение на реальных исторических текстах — в обучающую выборку вошли сотни тысяч строк из подлинных документов, размеченных экспертами.
• Генерация синтетических примеров — десятки миллионов сгенерированных вариантов почерков и орфографических особенностей позволили модели научиться распознавать даже редкие варианты написания.
• Учёт структуры документа — нейросеть понимает, что в метрической книге есть определённые поля (дата, имя, событие), и использует это для более точного распознавания.
• Работа с устаревшими буквами — модель обучена распознавать буквы, которые вышли из употребления после реформы орфографии 1918 года.

Благодаря этому качество распознавания достаточно высокое, чтобы можно было эффективно искать по тексту. Однако разработчики отмечают, что возможны ошибки, особенно на сильно повреждённых или неразборчивых страницах.

Ограничения сервиса: что нужно знать перед началом поиска

Несмотря на впечатляющие возможности, сервис «Поиск по архивам» имеет ряд ограничений, о которых важно знать:

• Нельзя загрузить свои документы — на данный момент в базу невозможно добавить собственные сканы, полученные, например, по запросу в архиве. Сервис работает только с теми документами, которые оцифрованы и расшифрованы Яндексом.
• Ограниченный охват архивов — хотя база постоянно пополняется, в ней представлены далеко не все региональные архивы России. Если ваши предки жили в регионе, документы которого ещё не оцифрованы, поиск может не дать результатов.
• Неполнота данных — даже если архив подключён, не все его фонды могут быть оцифрованы. Разработчики рекомендуют пробовать поиск позже, если сразу не удалось найти нужную информацию.
• Возможны ошибки распознавания — нейросеть может ошибаться, особенно на неразборчивых или повреждённых страницах. Рекомендуется сверять расшифровку с оригинальным сканом.

Эти ограничения связаны с масштабом задачи: оцифровка и расшифровка миллионов страниц — процесс, требующий времени и ресурсов.

Практические советы по поиску предков через нейросети

Чтобы поиск по архивам был максимально эффективным, стоит учитывать несколько практических моментов:

• Начинайте с известных данных — вводите фамилии, имена и названия населённых пунктов, которые точно известны из семейных преданий или других источников.
• Используйте разные варианты написания — в дореволюционных документах фамилии и имена могли записываться иначе, чем сейчас. Попробуйте поискать с буквой «ять» или с окончаниями, характерными для того времени.
• Фильтруйте по годам и архивам — если известно, в каком регионе и примерно в какие годы жили предки, используйте фильтры, чтобы сузить область поиска.
• Проверяйте расшифровку по скану — нейросеть может ошибаться, поэтому всегда сверяйте найденный текст с изображением документа.
• Не ограничивайтесь одним запросом — попробуйте разные комбинации слов, особенно если фамилия распространённая.

Следуя этим советам, вы значительно повысите шансы найти нужную информацию.

Будущее технологии: перспективы развития поиска по архивам

Разработчики сервиса «Поиск по архивам» заявляют, что количество архивных фондов будет увеличиваться. В планах — подключение новых региональных архивов, расширение временного охвата и улучшение качества распознавания.

В перспективе технология может быть адаптирована для работы с документами на других языках и из других исторических периодов. Кроме того, возможно появление функции загрузки собственных документов для распознавания, что сделает сервис ещё более полезным для генеалогов.

Нейросетевой поиск по архивам — это не просто удобный инструмент, а настоящий прорыв в области исторических исследований. Он делает доступными для массового пользователя те данные, которые раньше были доступны только узким специалистам, и открывает новые возможности для изучения семейной и региональной истории.

Сравнение с традиционными методами работы с архивами

Традиционно работа с архивными документами требовала личного посещения читального зала, заказа дел, ожидания их выдачи и последующего ручного переписывания или фотографирования страниц. Расшифровка рукописного текста могла занимать значительное время, особенно если почерк был неразборчивым.

Нейросетевой поиск по архивам предлагает принципиально иной подход:

• Скорость — вместо часов или дней на поиск одной записи уходят секунды.
• Доступность — не нужно ехать в архив, достаточно иметь доступ в интернет.
• Масштаб — можно искать одновременно по миллионам страниц из разных архивов.
• Удобство — расшифровка отображается рядом со сканом, что упрощает проверку.

Однако традиционные методы сохраняют преимущество в тех случаях, когда нужный документ ещё не оцифрован или когда требуется глубокий анализ контекста, который нейросеть может не уловить. Оптимальная стратегия — сочетать оба подхода: использовать нейросеть для быстрого поиска и предварительной разведки, а затем обращаться к оригиналам для верификации.

Вопросы и ответы