Машиночитаемое распознавание реквизитов что это

Машиночитаемый документ

Smart Document Engine – это программный инструмент для бизнеса и разработчиков, обеспечивающий высокоточное и высокоскоростное распознавание текстовых и иных данных первичных, деловых, уставных, бухгалтерских, налоговых, нотариальных, юридических, страховых и банковских документов, а также типовых анкет и форм строгой отчетности.

Наукоемкая технология оптического распознавания символов GreenOCR®, разработанная нашими учеными, позволяет точно распознавать текст любых документов на более чем 100 языках, включая кириллицу, латиницу, арабский, персидский, урду, японский, китайский, корейский и другие. GreenOCR® обеспечивает высокую точность распознавания печатного текста (OCR), рукопечатного и рукописного заполнения полей (ICR), а также распознавание меток и чекбоксов (OMR). Смотреть спецификацию

При использовании Smart Document Engine НЕ требуется выполнять дополнительных действий, связанных с получением согласия субъекта на обработку его персональных данных (юридическое заключение).

Легкая интеграция без нарушения привычных процессов

Smart Document Engine является уникальным инструментом, позволяющими гибко интегрировать распознавание документов в текущую деятельность компании. Программа легко и удобно встраивается в уже существующие бизнес-процессы, не нарушая привычного опыта использования. Решение доступно для интеграции с различными информационными системами, например, ECM, CRM, RPA, 1С, АБС и т.д.

Как поставляется данное программное обеспечение

С помощью Smart Document Engine SDK вы сможете добавить функциональность глубокого анализа и распознавания документов как в ваши инфраструктурные решения для автоматизации back office, так и в мобильные приложения, для максимального упрощения удаленного автоматического ввода документов.

Программа Smart Document Engine поставляется в виде автономного SDK (software development kit), содержащего все необходимые прекомпилированные библиотеки, документацию программного интерфейса и примеры интеграции для различных языков программирования. Для разработчиков подготовлен простой, но многофункциональный API (application programming interface), который позволяет внедрить распознавание документов в решения с использованием языков C++, C#, Java, Python и Objective-C для широкого круга операционных систем: iOS, Android, Linux, Windows, MacOS, в том числе Sailfish Mobile, МОС “Аврора”, ОС Эльбрус, РЕД ОС, Astra Linux, и другие. Обеспечивается поддержка следующих аппаратных платформ: x86_64, ARM v7, v8 (Aarch32, Aarch64), MIPS, Эльбрус. Имеется возможность настройки и подключения к популярным фреймворкам RPA и продуктам 1С по запросу.

Документы, распознаваемые “из коробки” включают в себя свидетельство о постановке на налоговый учет гражданина РФ (ИНН), справка о доходах физического лица установленного образца (ранее 2-НДФЛ), платежное поручение (форма 0401060), бухгалтерский баланс (форма 0710001), отчет о финансовых результатах (форма 0710002), заявления на выдачу загранпаспорта, форма АДИ-РЕГ, титульный лист устава, сертификат самозанятого, выписка ЕГРЮЛ, товарная накладная (ТОРГ-12), форма УПД, счет-фактура и другая первичка.

Наши клиенты

Тинькофф Банк

Smart Engines поставляет мобильные и серверные решения по распознаванию документов Тинькофф Банку

Альфа-Банк

Альфа-Банк распознает документы клиентов в мобильном приложении с помощью Smart ID Engine

Банк «Открытие»

Банк «Открытие» увеличит продажи кредитных продуктов за счет внедрения технологии распознавания документов Smart Engines на сайте

Газпромбанк

Газпромбанк внедрил решение Smart Engines на основе искусственного интеллекта для распознавания QR-кодов

Результат есть, а как оно там распознаётся, никто и не представляет. Решили на пальцах, паспорте и алгоритмах Dbrain рассказать, как происходит волшебство. Хотя «Вжух» нам тоже нравится.

В месяц мы распознаем более 500 тыс. паспортов для разных клиентов и их нужд. Банки хотят знать кому дают кредит или оформляют счёт. Крупным компаниям нужно быстро нанимать новых сотрудников.

Dbrain тот самый пластырь, шоколадное мороженое или таблетка, которая снимает боль с процессов, связанных с извлечением данных. Нашим клиентам достаточно запросить у человека скан или фотографию документа, дальше за работу возьмутся нейросети. За секунды они распознают тип документа, выравнивают его, находят поля и преобразуют изображение в цифровую информацию.

Ключ к успеху: ИИ + люди

Мы уже писали, что искусственный интеллект хорошо и быстро учится, если у него есть обратная связь от людей. Алгоритмы Dbrain верно распознают до 92% всех документов. Часто этой точности хватает. Но когда нужен максимум, алгоритмам помогают верификаторы, тогда точность приближается к 100%, а у сетей появляется возможность обучаться на своих ошибках.

Этапы и алгоритмы

1. Классификация документа

На входе: документ с любым количеством страниц

Внутри происходит несколько процессов:

На выходе: массив изображений разделенных по типам документов с восстановленной ориентацией

2. Поиск структуры: полей, таблиц, печатей и подписей

На входе: кроп документа и его тип

Fieldnet — сервис, объединяющий в себе набор однотипных нейросетей, способных определять структуру документа: поля, специальные отметки, таблицы и тд. Он предсказывает пиксельные маски на полях документа, ориентируясь на окружающий контекст в документе. Здесь одно из важных отличий от подхода с использованием шаблонов — даже если поле перемещается в разных версиях документа, алгоритм его найдет.

Например, в паспорте отдельно вырезаются фамилия, место рождения, серия, номер и остальные поля. Сетка долго тренировалась, и она точно знает, что у документа в определённых местах должна быть такая-то информация. Поэтому она ищет на документе не просто текст, а информацию вот в этом уголочке, потому что тут обычно имя человека. После этого она вырезает каждое из полей с изображения. Получаются прямоугольные маски полей, которые идут дальше.

На выходе: вырезанные поля

3. Все виды OCR

На входе: кропы полей

Наша гордость — OCR. Это движки для перевода изображений в машиночитаемый язык. На визуале показали только 3, на самом деле их больше 10. Одни умеют читать слова просто по символам, другие знают много информации про язык и могут исправить ошибки людей, а последние и вовсе читают текст целыми строками.

В 2022 году у нас появился алгоритм, который способен читать рукописный текст на русском языке с качеством, близким к печатному.

На выходе: машиночитаемый текст

4. Сервисы антифрода

На входе: все данные от предыдущих алгоритмов и само изображение

Проверка источника изображения, наличие фотошопа, распознавание лиц и базы данных. Почему этот этап важен, писали здесь.

А вот несколько примеров того, что сеть пометит как отредактированный документ:

На выходе: вероятность подделки документа

5. Верификаторы

На входе: кропы полей + названия документов и полей

Дополнительный модуль верификации результатов распознавания и ручного ввода сложных случаев. Доступен как в облачной, так и в локальной версии. В качестве платформы разметки используется Яндекс.Толока.

На выходе: содержимое полей документов + ответ консенсуса

Вот так на самом деле выглядит распознавание документов в Dbrain, которое вы получаете за несколько секунд. А теперь ещё два важных пункта: скорость — за сколько алгоритмы справляются с паспортом и безопасность — где хранятся данные, которые вытащили нейросети.

Скорость распознавания

Никто не любит ждать. Клиенты компаний, когда загружают документы. Компании, когда поток клиентов огромный, а обработка документов занимает по 10 минут.

Хуже медленного распознавания может быть только медленное и неточное распознавание. Легко представить себе ситуацию, когда клиент ждет 15 минут подтверждения кредита на технику в магазине, а потом получает отказ из-за того, что система не распознала фамилию из-за блика на фото или не справилась с почерком в поле с адресом регистрации.

Наши сервисы справлялись с документами за 3 секунды, но в 2023 все поменялось, и время уменьшилось до 300 мс, про это мы расскажем позже.

Безопасность

По правилам безопасности, банки и другие финансовые организации не могут передавать данные клиентов третьим лицам и сторонним сервисам. Это значит, что любое решение для распознавания должно быть интегрировано в контур банка и располагаться на внутренних серверах.

Мы написали нашу платформу с нуля, не используем открытое программное обеспечение или сторонние решения. Поэтому нас удобно и быстро можно интегрировать в сервисы финансовых компаний.

Кроме того, мы не сохраняем изображения документов на устройстве, оно сразу отправляется на сервер банка. Благодаря этому, банки могут спокойно доставлять карты: курьер никому не передаст фотографии клиентских паспортов — у него их просто нет.

А что по кейсам

Решили, что текста и так много получилось, поэтому кейсы клиентов опишем в следующей статье. Спасибо за ваше время и внимание