江苏龙网

  1. 首页 > 人文 > >

科技资讯眺望|三篇论文，纵览深度学习在表格识别中的最新应用( 七 )


科技资讯眺望|三篇论文，纵览深度学习在表格识别中的最新应用表 2. 表格结构识别和数据提取实验结果
在实验 1 中 ， 作者在所有 Marmot 数据集的正样本中训练 TableNet ， 并在 ICDAR 2013 表格竞争数据集上测试表格和结构检测任务 。 有两个计算图需要训练 。 每个训练样本是文档图像、表格掩码和列掩码的元组 。 对于每个训练元组 ， 这两个图至少要计算两次 。 实验结果见表 1 和表 2 。
在实验 2 中 ， 使用修改过的 Marmot 数据集 ， 其中每个文档中的单词都被突出显示以提供语义上下文信息 。 当这些空间、语义信息被附加到图像中时 ， 结果略有改善（见表 1、2 中的比较） 。 模型的输出如图 2 所示 。
科技资讯眺望|三篇论文，纵览深度学习在表格识别中的最新应用图 2.TableNet 生成的样本文档图像及其输出掩码
实验 3 将 TableNet 与基于深度学习的解决方案 DeepDSert[10]进行比较（DeepDSert 为 2017 年 ICDAR 中提出的用于表格检测和结构识别的深度学习方法） 。 在 DeepDSert 中 ， 分别使用单独的模型进行表格检测和结构识别 ， 这些模型在不同的数据集上进行训练 ， 例如用于表格检测的 Marmot 数据集和用于表格结构识别的 ICDAR 2013 数据集 。 为了生成可对比的结果 ， 作者在 ICDAR 训练和测试数据集上分别对基于 Marmot 训练得到的 TableNet 模型进行了微调 。 与 DeepDSert 中所做的工作类似 ， 作者还随机选择了 34 幅图像进行测试 ， 并使用其余的数据图像对 TableNet 模型进行微调 。 TableNet 经过微调后 ， 使用相同的参数以 1:1 的比例对两个分支进行 3000 次迭代 ， 批量大小为 2 。 经过微调后 ， TableNet 的性能进一步提高 。 产生这一提高的原因可能是由于引入了 ICDAR 文档 。 实验结果见表 1 和表 2 。 TableNet 处理每个文档图像所花费的平均时间是 0.3765 秒 ， 由于 DeepDSert 未公布相关数据 ， 这一性能无法进行对比 。 虽然 TableNet 的最终结果并不比 DeepDSert 好 ， 但 TableNet 是端到端的模型 ， 也就意味着后续可以通过引入更丰富的语义知识的方法 ， 或是增加更多的用于学习基于行的分割的分支来进一步改进模型的效果 。
3、小结
本文提出了一种新的深度学习模型 TableNet ， 它以端到端的方式训练表格检测和结构识别的双重任务 。 现有的表格识别方法将表格检测和结构识别视为两个不同的问题 ， 需要独立解决 。 作者提出 ， TableNet 是第一个同时处理这两个任务的模型 ， 它利用了表格检测和表格结构识别之间固有的相互依赖性 。 TableNet 利用以前学习任务中的知识 ， 并将这些知识转移到新的、相关的任务中 ， 这在所得到的训练数据稀疏时特别有用 。 此外 ， 作者在文中还证明了突出显示文本以提供数据类型信息可以进一步提高模型的性能 。 作者提出 ， 在后续的工作中考虑引入第三个分支训练 TableNet 来识别行 。 但是 ， 这项工作需要在现有的数据集中增加手工注释的行信息 ， 而当前的用于表格识别任务的数据集都不提供基于行的注释 。 此外 ， 作者还提出 ， 后续将进一步思考可以引入哪些其他语义知识来提高模型性能 ， 例如引入更抽象的数据类型 ， 如货币、国家或城市等 。
三、Table Structure Extraction with Bi-directional Gated Recurrent Unit Networks
科技资讯眺望|三篇论文，纵览深度学习在表格识别中的最新应用论文地址：
本文也是 ICDAR 2019 中的一篇文章 ， 重点研究表格结构识别 。 表格能够呈现归纳和结构化的信息 ， 这使得表格的结构提取成为文档理解应用的重要组成部分 。 然而 ， 表格结构识别是一个很难解决的问题 ， 不仅因为表格布局和样式的变化 ， 而且由于页面布局和噪声污染程度的变化 。 目前对表格结构的识别已经做了大量的研究 ， 其中大部分是基于启发式技术结合光学字符识别（OCR）来手工选取表格的布局特征 。 由于表格布局的变化和 OCR 产生的误差 ， 这些方法并不能很好地推广 。


推荐阅读


上一篇：央视网|上海长三角金融总部18日成立 同时发布长三角区域一体化服务方案_新闻频道_央视网(cctv.com)

下一篇：阿狸先森|中国有哪些能卡死美国的技术？