Кейс: как оптимизировать обработку бумажных документов с помощью машинного обучения

Один из клиентов kt.team, крупная логистическая компания, ежедневно отправляет тысячи шипментов (отгрузок). Каждая из отгрузок сопровождается рамочным договором, товарной накладной, товарно-транспортной накладной (сокр. ТТН), счетами, пропусками для водителей-экспедиторов, актами приёмки-передачи… Пакет документов — как правило, многостраничных — для шипментов довольно велик.

Большая часть этих документов поступает в бумажном виде: водитель-экспедитор привозит их и передаёт на валидацию в специальное подразделение бухгалтерии.

В очень упрощённом виде бизнес-процесс обработки входящих бумажных документов изображён на рис. 1.

Документы вручную проверяют на комплектность, наличие обязательных атрибутов, корректность заполнения. После сканирования сотрудник бухгалтерии вручную вбивает в Admin Tool номер договора, к которому должен быть привязан документ, и вручную же «связывает» отдельные страницы документа между собой. Проверенные документы поступают в бухгалтерскую программу (BluJay) и электронное хранилище (Magellan).

Фактически десятки сотрудников ежедневно занимаются «перекладыванием бумажек», хоть и целевым.

На механическую работу ежемесячно тратятся тысячи человеко-часов. Скорость обработки каждого следующего пакета документов неизбежно снижается — даже у опытных сотрудников «замыливается» глаз. Неизбежны ошибки, порождённые человеческим фактором.

Клиент давно хотел автоматизировать рутинные задачи по работе с документами, чтобы использовать время сотрудников более рационально. Но он не нашёл на рынке готового информационного продукта или комплекса продуктов, который бы безболезненно встроился в существующий бизнес-процесс и информационную инфраструктуру компании. Все существующие коробочные продукты могли взять на себя один-два шага из сложного бизнес-процесса, что никак не решило бы задачу.

Проанализировав ситуацию, мы предложили клиенту разработать индивидуальное решение под процесс валидации и оцифровки бумажных документов.

Наша команда изучила бизнес-процесс и выявила этапы, которые возможно автоматизировать:

Нашим решением было не писать отдельный продукт под каждый из этапов, а объединить их в единый продукт — iCdocs (сокр. от англ. intelligent compiler of documents).

Наиболее сложным с точки зрения автоматизации был этап определения типа документа.

Для реализации этих задач мы протестировали несколько гипотез.

Первая гипотеза — работа с изображениями. Мы планировали обучить нейросеть определённому набору образов, которые соответствуют формам документов. Сличая скан конкретного документа с хранящимися в памяти образами, нейросеть должна была определять тип документа и указанного в нём контрагента.

Практика показала, что это неудачный подход. Для целого ряда документов (например, для накладных) не существует единой общепринятой формы. Отличается количество полей, взаимное расположение элементов, заполнение обязательных полей. Даже длительное обучение, требующее больших системных ресурсов, не обеспечило бы приемлемого результата, а определение каждого документа занимало бы больше времени, чем ручная обработка.

Такое решение не было бы целесообразным с точки зрения бизнеса клиента.

Поэтому вместо изображений мы решили работать с текстом. Вне зависимости от формы, принятой у контрагента, товарно-транспортная накладная обязательно содержит текстовое наименование документа, номер ТТН, отгрузки и договора и другую текстовую информацию, которая позволяет корректно её обработать.

В iCdocs реализовано машинное обучение random forest и векторный анализ расположения слов по метрике для определения типов документов.

Этот подход показал себя более эффективным. Анализируя наличие «нужных» слов, мы смогли уже на старте приблизиться к 78 %, iCdocs самостоятельно распознавал тип документов — оператору оставалось только подтвердить результаты. Таким образом, был создан единый продукт для всего процесса.

Помимо распознавания типа документов в iCdocs, мы реализовали и иные функции.