卷积神经网络的局部连接、权值共享、池化操作及强大的自动提取特征的特性能够有效降低网络结构的复杂度,并对图像的缩放、平移、扭曲不变性具有良好鲁棒性的特征,因而将卷积神经网络应用于人脸识别能够有效改善识别的性能,本文围绕卷积神经网络架构进行了研究,针对不同的问题提出了相应的解决算法。针对传统卷积神经网络经过多次池化降维,部分信息在传播过程中损失的问题。本文提出捷径连接的模型:综合考虑浅层次特征和深度特征,并将二者进行融合,减少了特征损失;为了获得更加有区分性的特征,算法在原有softmax损失函数的基础上添加一个惩罚项,使已学习到的同类特征到该类特征之间的距离最小化。降低了细节特征的损失程度,增加了深度特征的区分性。针对传统卷积神经网络不能充分利用图像的多尺度信息的问题,提出了一种多尺度残差网络模型,通过多尺度跨通道卷积的融合来提高图像的特征表达能力;为了降低深度网络架构的学习参数并使其易于优化求解,提出直接将上一层特征跨越多尺度模块层直接映射到下一层,并将大的卷积核分解成小的非对称卷积来降低网络参数量。为了便于验证模型的性能,将本文设计的非对称小卷积模型进行了图形界面实现,实现了实时人脸识别系统。实验结果表明,本文算法对图像的尺度变化、遮挡、复杂性背景等因素具有良好的鲁棒性。