复合材料由于具有比模量高、比强度高、可设计性好、耐高温、抗疲劳性能好及制造工艺简单等优点，近几十年来，在航空航天、能源、交通、建筑、机械等工程领域得到迅速发展和广泛应用。其中，具有复合材料层状结构的新型板壳结构在现代工程结构中应用最为广泛。由于这种结构的材料具有各向异性、耦合效应以及非线性等特点,使它在受载后的应力状态、结构的动力学控制方程及边界条件变得比较复杂，因此，综合考虑复合材料层合板剪切变形理论的精确性以及研究复合材料层合板的非线性振动、分岔等动力学行为具有很重要的理论价值和工程价值。本论文首先将基于一种新的高阶剪切变形理论的计算结果与常用的板壳理论所得到的结果进行了比较，然后建立了基于经典层板理论的复合材料层合薄板和基于高阶剪切变形理论的复合材料中厚层合梁的动力学方程，并采用理论推导与数值计算相结合的方法分析了在确定性激励及窄带随机激励作用下复合材料层合结构的非线性振动、分岔等动力学行为。本论文的内容主要有以下几个方面：　　对一种新的高阶剪切变形理论进行了综合比较。基于一种新的高阶剪切变形理论，根据虚功原理，推导出了复合材料层合板的平衡方程及相应的边界条件。利用傅里叶级数展开，得到了层合板在横向载荷作用下的挠度和应力。其计算结果与Reddy的简化高阶剪切变形理论、一阶剪切变形理论和经典层板理论的结果进行了比较，说明了该理论具有较高的精度和可靠性。同时还发现：对于复合材料层合薄板，在基于经典层板理论的基础上进行理论分析，就可以获得较满意的结果，由于经典层板理论具有公式简单，未知变量少等优点，因此后续复合材料层合薄板的研究将以此为理论依据。　　研究了复合材料层合薄板在确定性激励下的动力响应特性。基于经典层板理论和vonKármán理论，考虑结构在边界处因摩擦产生耗散力的情况下，利用Galerkin法对所得偏微分方程进行了离散，得到了四边铰支层合薄板在轴向载荷作用下主参激共振的控制方程。研究结果表明，由于考虑了边界摩擦力，所以控制方程存在着非线性阻尼项。利用多尺度法，获得了复合材料层合薄板受参激主共振激励的近似解析解并进行了分析，结果表明在其它参数不变情况下，针对不同的摩擦系数，平凡响应不稳定区间带宽只与线性阻尼及激励幅值有关，与边界摩擦力无关，且边界摩擦力能有效减弱主参激共振时的共振幅值。　　由于在实际工程中，理想化的确定性激励是难于实现的，因此本文采用有界噪声模型化窄带随机激励特征，在非线性动力学模型的基础上，采用多尺度法并结合FPK（Foker-Planck-Kolmogorov）方程，首次分析了复合材料层合薄板系统幅-频特性、力-幅特性下响应幅值联合概率密度随着激励幅值、激励频率、边界摩擦系数、激励带宽等参数变化所引起的非线性系统的随机分岔与跳跃现象。结果表明，在各参数的逐渐变化过程中，系统随机分岔与跳跃现象并非完全呈单向形式，中间系统存在着反复的在平凡与非平凡解之间的跳跃过程，呈现出复杂多变的随机分岔与跳跃现象，这为复合材料层合结构的非线性动力学研究拓展了一种新的研究方向。　　最后，基于Von-Kármán应力应变关系和Reddy高阶剪切变形理论，利用Hamilton原理导出了轴向激励两端简支复合材料层合梁的非线性动力学方程。首次采用有界噪声理论，将窄带随机激励作为梁的参数激励模式，利用多尺度法，获得了评价系统平凡稳态响应稳定性的最大Lyapunov指数的解析表达形式，研究了决定参激主共振下系统平凡稳态响应稳定性的最大Lyapunov指数变化情况，对确定系统稳态响应间随机跳跃与分岔的FPK方程进行了深入的数值分析。结果表明，系统的动力响应特性随各参数的变化呈现出复杂的非线性随机分岔与跳跃现象。