文本识别领域一般组合使用卷积神经网络和循环神经网络识别文本行,称为卷积循环神经网络CRNN,然而循环神经网络的串行计算方法会导致训练阶段花费大量时间。本论文研究基于深度注意力机制的手写文本识别模型,致力于在保持识别精度的同时减少训练模型的时间开销。在上述研究的基础上,进一步研究了图片文本识别的两阶段方法和端到端方法。本论文提出了两种用注意力机制代替循环神经网络结构的手写识别模型CANN和CNN-Transformer。CANN模型使用基于内积的自注意力机制代替循环神经网络提取序列特征,训练时使用连接时序分类算法。CNN-Transformer模型基于编码器-解码器框架,将文本识别问题转化为序列到序列问题,编码器和解码器均使用可以并行化计算的内积注意力机制。本论文在公开的英文手写数据集IAM和中文手写数据集SCUT-EPT上做实验,验证了上述两种模型的有效性。本论文深入研究了神经网络Softmax分类器的工作原理,提出将分类器的工作机制归结为注意力机制的一种应用,探索了通过约束分类层的权值以提升模型泛化能力的多种方法。这些方法包括:不同类别中心变量内积最小化、固定中心变量、为隐层向量添加L2约束和用正交向量组初始化中心变量。本论文进一步研究了组合使用文本识别模型和机器翻译模型进行图片文本识别与翻译的问题,提出了一种两阶段方法和一种端到端方法,使用基于迁移学习的方法训练端到端模型。本论文在合成数据集上做实验,比较了两阶段方法和端到端方法的优缺点。实验结果表明,本论文提出的CANN模型训练速度明显快于CRNN模型。提出的四种提高泛化能力的方法均能够发挥作用,其中为隐层向量添加约束的方法取得了最好的效果。提出的CNN-Transformer模型在中文手写数据集上的识别正确率超过了经典的CRNN模型。在端到端训练数据较少的情况下,两阶段方法的效果比端到端方法的效果好。如果两阶段方法的识别模型和翻译模型的训练数据量与端到端模型相同,则端到端模型更具优势。