人类获取信息的方式多种多样,而90%左右的信息来源于人类的视觉信息。在视觉信息中,汇聚了人类结晶的文字信息往往比其他信息的信息量更大。因此,读取并理解图像中的文本信息显得尤为重要且充满意义。传统的OCR技术已经在印刷体识别上趋于成熟,但在自然场景下读取文本信息仍面临着很大的挑战。在自然场景中,光线条件弱、天气状况差、文本扭曲模糊等不利因素都将影响我们有效的获取自然场景中的文本信息。近年来,随着计算机技术和硬件的快速发展,基于深度学习的自然场景下图像的检测与识别技术较传统的OCR技术有了较大的提升。在文本的识别领域中,端到端的CRNN文本识别模型一直占据着主导地位,但是该模型的损失函数CTC计算复杂且计算量大,并且不能解决二维图像的识别问题,虽然通过Attention机制可解决二维识别问题,但产生的文本对齐问题却降低了识别的精度。本文通过引入聚合交叉熵损失函数,可有效解决损失计算复杂的问题,该损失通过字符个数监督的方式还可延伸至二维图像的识别上。本文的主要创新点包括:1.提出一种基于聚合交叉熵损失的文本识别模型,该模型采用Dense Net作为基础网络提取文本特征,并将提取的特征送入双向的GRU以进一步提取文本的上下文特征,最后通过聚合交叉熵损失函数进行损失计算。该模型在一维图像的识别上表现出了与CRNN相抗衡的表现,并且可延伸至二维图像上进行文本识别。2.提出一种端到端的自然场景下文本检测与识别模型,该模型基于EAST的文本检测方法,通过FCN的方式提取文本区域特征,再将获得的文本区域送入我们基于ACE损失的识别器中进行统一训练。该模型在文本的检测与识别上取得较好的效果,在模型评估中,该模型的F-score大于50%。3.使用Py Qt5开发工具开发了一款基于端到端的自然场景文本检测与识别系统。该系统包含图像信息获取模块、图像处理模块、图像检测与识别模块、结果展示等模块,不仅可以完成对图像的基础检测与识别之外,还可以通过选择不同的检测或者识别模型来对图像的检测或识别效果做对比。