[ACM MM2022] 针对真实场景文档信息抽取的查询驱动生成网络

本文简要介绍ACM MM2022录用论文“Query-driven Generative Network for Document Information Extraction in the Wild”的主要工作。该论文主要针对实际应用中出现未知版式未知键以及存在OCR错误的Document Information Extraction in the wild任务，提出了QGN。QGN采用生成范式，使用Transformer Encoder-decoder结构，设计了Layout Context-aware Module（LCM）、Prefix Query Extraction和受到PGN[1]的启发的Structrual Generation三种特殊机制，在DIE In The Wild任务上取得良好效果。同时，本文还贡献了一个多版式、多关键信息实体类别的大型文档信息抽取数据集LastDoc4000。

一、研究背景

当前研究使用的数据集，大多有着几乎完美的OCR结果，合理的训练、验证集划分，而在文档信息抽取的实际任务中，由于多变的图像收集方式和部分糟糕的图像质量，OCR错误不可避免地会被引入后续的文档理解模型。不同使用场景下，也会面临多种多样的版式文档，如不同类型的收据、小票、发票、运单等，推理过程中很有可能会出现训练集中并没有出现过的版式，实际上这些问题同样充满挑战，本文将存在这些问题的任务定义为Document Information Extraction In The Wild。

已有的文档信息抽取模型大致可以分为三类。第一类，也是当前最常见的一类，是基于序列标注的方法，近期随着多模态的兴起，这类工作一般是提取融合多个模态特征，建模得到一个足够好的序列特征结果，然后直接进行序列分类标注。代表性的工作LiLT[2]通过改进Attention机制在序列建模时引入Layout信息，更好地完成序列标注任务。第二类是基于生成的方法，代表性工作TCPN[3]在CharGrid的基础上，同时使用了生成式方法和序列标注的方法，取得良好效果。第三类是基于连接的方法，代表性方法MatchVIE[4]设计了一个基于图神经网络的解码器，得到不同Sentence之间的连接关系。本文采用生成范式，设计了LCM、前缀查询生成以及拷贝-生成三种特殊机制，在DIE In The Wild任务上取得良好效果。图1为四类方法在不同程度的DIE In The Wild任务上的表现。

图1 不同类型方法针对不同难度任务的表现

二、方法原理简述

图2 整体流程图

图2是本文提出方法的整体流程，该方法首先根据文档图像和OCR结果生成Embeddings，Embeddings的生成方式与LayoutLM[7]相同，将Embeddings送入QGN，主体部分QGN为一个加入Layout Content-aware Module（LCM）机制的Transformer Encoder-decoder结构，先经过Encoder对序列建模，预测出前缀Query，最后将前缀Query送入后续Decoder经过拷贝-生成机制生成得到Kvpair，最终组织为信息抽取结果。

2.1 Layout Content-aware Module（LCM）

许多序列建模方法更多关注临近位置信息的机制，在DIE In The Wild场景下并不奏效，面对不良阅读顺序的OCR结果，过度关注相对临近“位置”的信息反而容易导致结果的错误。同时仅有文本语义模态时，OCR错误带来有噪声的标注，同样容易削弱这种局部感知。LCM机制通过计算不同Token之间视觉、语义和空间模态向量的欧式距离并加入Attention Score，加强网络对于位置上弱关联Token的感知，缓解了上述问题。实际使用时，同时加入Mask，遮盖掉不同模态欧式距离过大的Token分数，起到滤除噪声的作用。LCM机制结构图如下图3所示：

图3 LCM机制结构图

2.2 Prefix Query Extraction（前缀query生成）

序列标注方法经过Encoder后直接进行序列标注，很容易受到错误阅读顺序和OCR噪声的影响，尤其难以判断标签的边界和始末。而本文的前缀Query生成阶段，对Encoder输出的序列先进行Value和Other的二分类，得到Value后分别与窗内其他Token聚合，得到输入Decoder的Query，进一步通过Decoder生成出需要提取的键值对，前缀Query生成流程如下图4所示：

图4 前缀Query生成流程图

2.3 Structrual Generation（拷贝-生成机制）

Structural Generation受PGN[1]的启发，采用了拷贝-生成机制。经仿射变换得到概率，Decoder生成结果和初始Attention Score分布依概率加权得到选词概率分布，最终取概率最高词为生成结果。Structural Generation流程如下图5所示：

图5 Structrual Generation流程图

预训练任务设计为掩码语言建模MLM，与UniLM[8]相同，预训练过程分为三阶段，第一阶段序列中所有Token计算Attention时都互相可见，第二阶段前半序列可见后半序列，后半序列不可见前半序列，第三阶段序列仅左边的Token可见右边Token，模型部分使用LayoutXLM[6]初始化，在IIT-CDIP和网上爬取的中英文文档共43M数据上，共预训练5个Epoch。Finetue阶段损失函数简单由两部分损失加权得到，公式如下：

为了模拟DIE In The Wild场景，提升模型鲁棒性，训练模型时使用了语义、空间和视觉三种增广，分别主要为10%字符替换、框抖动、图像的仿射变换和增强。

2.4 大型文档信息抽取数据集LastDoc4000

本文贡献了一个多版式、多关键信息实体类别的大型文档信息抽取数据集LastDoc4000。该数据集与其他主流信息抽取数据集的版式类型、文档Token长度以及需提取的Entity类别数量如表1和表2所示：

表1 版式类型及文档长度对比

表2 需提取的Entity类比数量对比

（需注意的是LastDoc4000中对Entity类别的定义与通常使用的主流信息抽取数据集的定义不同，分类标准为Kvpair不同键的数量，LastDoc4000固然存在非常多的需抽取信息类别，但并不像表2中直观展示的数据与主流数据集存在悬殊差距。）

三、实验结果

文中实验的不同Setup含义如下表3所示：

表3 不同Setup含义

QGN在主流信息抽取数据集上的表现如下表4所示：

表4 主流信息抽取数据集实验结果

QGN和常用方法InfoXLM以及LayoutXLM在LastDoc4000上的实验结果和部分可视化结果如下表5、图6和图7所示：

表5 在LastDoc4000上的实验结果

图6 各模型在存在OCR错误输入下的可视化结果

图7 各模型对未见过版式和键的信息抽取结果

不同实验设置下的消融实验如下表6所示：

表6 不同实验设置下的消融实验

四、总结及讨论

针对信息抽取实际应用时的复杂场景文档信息抽取任务，特别是存在未见过的版式和键以及存在OCR错误的情况，本文提出了查询驱动生成网络QGN以及一个大型文档信息抽取数据集LastDoc4000（目前未开源）。查询驱动生成网络QGN采用生成范式，使用Transformer Encoder-decoder结构，设计了Layout Context-aware Module（LCM）、Prefix Query Extraction和受到PGN[1]的启发的Structrual Generation三种特殊机制，缓解了现有的文档信息抽取方法在DIE In The Wild任务上的不足，取得良好效果。本文最后提到，信息抽取中的生成范式不可避免地会遇到真实性和忠实性的问题，广泛使用还需要进一步研究和验证。

五、相关资源

论文地址: https://dl.acm.org/doi/10.1145/3503161.3547877

参考文献

[1] Abigail See, Peter J. Liu, and Christopher D. Manning. 2017. Get To The Point: Summarization with Pointer-Generator Networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1073–1083, Vancouver, Canada. Association for Computational Linguistics.

[2] Jiapeng Wang, Lianwen Jin, and Kai Ding. 2022. LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 7747–7757, Dublin, Ireland. Association for Computational Linguistics.

[3] Jiapeng Wang, Tianwei Wang, Guozhi Tang, Lianwen Jin, Weihong Ma, Kai Ding, and Yichao Huang. 2021. Tag, Copy or Predict: A Unified Weakly-Supervised Learning Framework for Visual Information Extraction using Sequences. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI 2021, Virtual Event / Montreal, Canada, 19-27 August 2021, Zhi-Hua Zhou (Ed.). ijcai.org, 1082–1090.

[4] Guozhi Tang, Lele Xie, Lianwen Jin, Jiapeng Wang, Jingdong Chen, Zhen Xu, Qianying Wang, Yaqiang Wu, and Hui Li. 2021. MatchVIE: Exploiting Match Relevancy between Entities for Visual Information Extraction. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI 2021, Virtual Event / Montreal, Canada, 19-27 August 2021, Zhi-Hua Zhou (Ed.). ijcai.org, 1039–1045.

[5] Zewen Chi, Li Dong, Furu Wei, Nan Yang, Saksham Singhal, Wenhui Wang, Xia Song, Xian-Ling Mao, Heyan Huang, and Ming Zhou. 2021. InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model PreTraining. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tür, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou (Eds.). Association for Computational Linguistics, 3576–3588.

[6] Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florêncio, Cha Zhang, and Furu Wei. 2021. LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding. CoRR abs/2104.08836 (2021).

[7] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. 2020. LayoutLM: Pre-training of Text and Layout for Document Image Understanding. In KDD ’20: The 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Virtual Event, CA, USA, August 23-27, 2020, Rajesh Gupta, Yan Liu, Jiliang Tang, and B. Aditya Prakash (Eds.). ACM, 1192–1200.

[8] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pretraining for Natural Language Understanding and Generation. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B. Fox, and Roman Garnett (Eds.). 13042–13054.

原文作者: Haoyu Cao, Xin Li, Jiefeng Ma, Deqiang Jiang, Antai Guo, Yiqing Hu, Hao Liu, Yinsong Liu, Bo ren

撰稿：李腾

编排：高学

审校：殷飞

发布：金连文

免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。

往期精彩内容回顾