来也AI平台场景OCR的最佳实践

一. 前言

在上文《》【1】中，我们提到了来也核心OCR能力已经在内部的AI平台上实现了数据驱动优化。

在一站式的AI平台上，我们又抽象了适用不同场景的算法模型，这样如果业务场景可以被这些算法模型覆盖，我们只需要通过数据驱动的方式产出该场景OCR产品，低成本的实现产品的交付。

在本文中，我们将通过一个场景来简述，如何通过来也AI平台高效的产出这类场景的OCR的模型和最终的API。

二. 场景简述

在OCR识别的某些场景上，特别是偏自然或者工业识别场景，一般在整张图片中，目标文字只在一个区域（目前的方案也能实现多个区域目标文字的识别），且需要的目标文字有着明显的视觉差异特征，比如识别文字的字号、颜色、字体或者字体背景色等和图片上其他文字有着明显的差异，如以下场景，印章、电表度数、车牌、轮胎型号，汽车VIN码等等。

这些场景基本的特点如下：

• 目标文字区域视觉特征明显

• 文字形状多变、文字排列方式多变

通过这些基本特点分析，我们知道如果作为一个OCR识别的技术问题，文本检测上难度较小；而识别难度很大且需要兼容各种多变的文字排列方式，所以最终我们选定了YOLOV5 【2】和TrOCR 【3】来统一解决这类场景问题，下边将简述如何在AI平台操作，最终实现这个模型和服务的产出。

三. 模型和服务产出

在AI平台上，产出上述场景的模型只需要经过以下简单的几步即可实现。

1. 上传和标注数据

在整个训练数据管理上，我们采用了树状层级目录以及结构化标签的方式来进行数据管理，方便上游更容易筛选得到想要的数据，此外对单个叶子目录的数据拆分为：训练集合和测试集合。训练过程选中这个集合的话，只会用训练集合集合的数据；而测试的时候只会用测试集合，避免对数据处理逻辑不一致导致测试数据泄露。

数据上传完成后，就可以进行标注，整套标注工具我们基于CVAT 【4】 ，并对做了源码级别的修改，使其简单易用，此外为了提高标注效率和质量，我们又做了各种预标注的工具，大多数情况下标注人员只需要检测预标注是否有问题就可以。