图像中的文本信息能为人们和计算机解读图像场景提供重要的帮助,对自然场景下的图像进行文本识别是当前最热门的研究领域之一。自然场景下的文本识别一般要经过检测图像中的文本区域和对文本区域进行文字识别这二个步骤。本文主要研究自然场景下的文本检测和文本识别算法,最后将检测和识别连接起来,实现了文本识别的端到端系统。针对自然场景下的图像文本检测,本文提出了基于改进Faster RCNN的多方向文本检测算法。通过在VGG16特征提取网络中加入SE模块,提升了网络性能。对于bounding box的回归,加入了文本块矩形的角度信息,可以检测多方向的文本。针对场景文本的多方向特点,在anchor选取上加入了角度变量生成更多的anchor。最后在公开的标准数据集上对本文提出的检测算法进行实验,通过对比一些现有的检测算法,表明本文的算法有较好的检测性能。本文还研究了中文文本的识别方法,提出了改进的STN-CRNN方法识别检测出的文本区域。STN-CRNN先将文本框图像进行文本矫正,再送入文本识别网络进行识别。文本识别网络对矫正后的文本图像进行特征提取,编码生成特征向量序列。然后在解码器模块引入注意力机制来对特征向量序列进行解码,得到文本识别的结果。