深度学习,也即多层神经网络模型,是机器学习和人工智能研究的最为火热的研究领域之一。近些年来,深度学习在解决图像识别、视频处理、自然语言处理、语音识别甚至游戏人工智能等多个问题上均取得了突破性的进展。更准确地说,一个深度神经网络可以在这些领域的识别问题上达到接近人类的水平,这使得它广受学术界和工业界的关注。到目前为止,深度学习的研究有两个核心问题:1)深度学习的理论框架;2)深度网络模型的训练和优化方法。一个与这两个核心问题是紧密相关的技术就是预训练初始化技术。预训练初始化,最早由Hinton在深度置信网络的训练过程中提出,并被多个早期实验工作证明其有效性。具体来说,一个好的预训练初始化策略,不仅仅需要从对网络的原理出发来合理地进行无监督训练,而且需要减轻网络在训练过程中的优化困难。本文的主要内容是针对卷积神经网络预训练策略的研究。本文整理和总结了所有卷积神经网络研究方面的重要进展:从网络结构设计到优化算法到权值初始化。本文重点分析了初始化算法,从每个算法的设计思路出发,结合理论推导,并给出了完整的算法流程。最后本文通过结合现有的初始化算法的研究成果,提出了针对卷积神经网络的预训练方法——PCAUV算法。本文的主要工作如下:1.通过实验的方法,分析和总结了卷积核在优化过程中的变化,并肯定了卷积核初始化的有效性和必要性。2.通过实验的方法,分析和评估了训练好的卷积网络中卷积核的重要性,并提出了影响卷积核重要性的因素的猜想。3.考虑到影响卷积核的重要性因素,从数据中提取特征,结合现有的初始化方法的调整最终的方差,从而提出了PCAUV初始化算法。