随着计算机技术的发展以及智能手机与电子阅读设备的逐渐普及,电子文档已成为人们主要获取信息的方式之一。大部分印刷体文档是以图片形式进行存储的。得益于光学字符识别技术的发展,人们可以直接从图像中提取需要的数据进行存储、处理和检索,减轻人手工录入负担。然而,文档中还存在着大量框图类图像,现有的OCR技术难以直接提取其表达信息。目前,常规的印刷体框图识别方案主要采用传统方法通过检测框图的轮廓、角点,再依赖人工定义的特征进行特征提取,对框图中的关键区域进行定位。但实际中框图种类繁多,情况可能十分复杂,可能会存在断边、粘连或其他线元干扰等问题,这些情况都是传统方法难以处理的。框图还具有复杂的二维结构,识别中还得考虑图元之间的连接关系。如何正确解析框图的结构关系也是该领域面临的难点。本文通过分析研究框图识别中几个重要问题:框图的关键区域检测,框图内的字符切分与识别,框图的结构识别,将数字图像处理以及深度学习的相关技术应用到框图识别中,最终完成本文的框图识别技术研究。主要阐述了如何对收集到的数据集进行标注以及数据增强,降噪等过程,使用基于YOLOv3深度学习目标检测算法对框图图像的关键区域进行检测,解决了传统方法难以提取框图特征,方法通用性差的问题。在原有YOLOv3网络基础上,对其多尺度策略进行改进,加强对多种尺度以及箭头小目标的识别率,更好地应用于框图图像的目标检测中。鉴于印刷体框图图像内的字符字体格式较为固定,本文主要利用切分的方法对字符进行分割,对其中粘连字符的问题提出了解决方案。字符识别方面,本文以Le Net-5卷积神经网络为基础,对网络结构进行优化,得到了一个识别精度高的字符识别模型。在框图结构方面,本文主要根据框图区域检测的结果,分析了箭头与图元、连接线的空间位置关系,建立了框图结构识别的规则,在该规则约束下,对图元的逻辑关系进行判定,可以有效识别框图结构信息。最后,对框图的字符与结构识别结果整合并进行表示。