论文部分内容阅读
随着科学技术的快速发展,人们对工业智能化的需求日益增加。数字KVM系统可以远程可视化操作目标计算机桌面,让工作人员在舒适的环境下工作,是无人值守机房的重要设备。本论文针对计算机远程监控应用,设计并实现了一款KVM视频智能监控软件,能够帮助工作人员从枯燥的监控工作中解放出来,提高工作效率。本论文设计的软件具有身份验证、网络数据交互通信、四路网络码流解码显示、截图和全屏播放、视频录制、目标对象检测、屏幕弹框识别、OCR文字识别等功能,可以应用在工业中各种需要监控计算机屏幕视频的场合,具有良好的实际应用价值。论文的主要完成工作如下:(1)系统需求分析。分析KVM视频智能监控系统的软件功能和性能需求,选择Qt作为软件开发平台;设计软件总体框架,将软件分为屏幕弹框检测、OCR文字识别、智能监控软件客户端等三大模块,并制定了软件开发方案,搭建了软件开发环境。(2)屏幕弹框检测设计。本论文主要对屏幕中常见的警告弹框、报警弹框、提示框、消息弹框等目标框进行检测。首先通过比较四种主流的神经网络目标检测方法的检测结果以及鲁棒性,通过对比结果选择Faster R-CNN作为本论文目标检测的网络模型;接着使用20种不同弹框和200张不同桌面背景图片相互组合的方式制作成弹框数据集,再将数据集按照比例分为训练集和测试集;最后根据检测需求,在Faster R-CNN网络的基础上修改了网络的学习率、anchor,并对修改后的网络进行训练和测试。(3)弹框文字识别设计。首先采用基于OCR引擎Tesseract进行的汉字识别,使用Tesseract提供的jTessBoxEditor工具进行标定和训练简体中文训练模型;接着基于深度学习进行汉字识别,使用从网上收集的十三种汉字字体生成3755个一级汉字对应的文字图像集,并按比例生成训练集和测试集,使用TensorFlow深度学习框架进行训练;采用OpenCV对要识别弹框中的文字进行定位与切割,再对切割的文字进行单字的识别;最后对Tesseract原始识别模型、基于Tesseract重新训练的识别模型、基于深度学习的识别模型进行了识别效果对比和分析。(4)智能监控软件客户端开发。该客户端采用Qt平台实现,主要包括身份验证、网络数据交互通讯、四路网络码流解码播放、截屏和全屏播放、视频录制等功能,并进行了结果测试。