在实际工程与力学中往往存在大量碰撞、冲击、干摩擦、可变刚度、开关、阀值、脉冲调制控制、数字控制等非光滑因素以及噪声等随机因素。非光滑动力学的研究成为一个重要的，富有挑战性的研究课题。本文把一些光滑动力学的理论推广应用到非光滑系统中，对非光滑系统的动力学行为进行了初步的研究，主要的研究内容如下： 1.通过引进平均约束面和平均跃变方程对随机约束系统的约束条件进行处理，把研究随机光滑系统倍周期分岔的Chebyshev正交多项式逼近的方法运用到随机非光滑系统中，数值研究表明随机Duffing单边约束系统同样存在丰富的倍周期分岔现象，Chebyshev正交多项式逼近是研究带有约束的随机非光滑动力系统的有效方法。受随机因素的影响，随机系统的倍周期分岔是不同与确定性系统的。利用正交多项式研究此类非光滑非线性系统在现有文献中还未见到。 2.基于非光滑线性系统研究的基础上，借助一种非光滑变换，引进狄拉克函数，把随机单边约束非线性系统转化为光滑随机非线性系统，进而运用拟保守平均方法得到转换的光滑随机系统的平稳响应。利用逆变换得到原系统的平稳响应。通过近似解析结果与数值仿真结果的比较证实这种转换方法在研究非光滑非线性随机系统中的有效性。 3.基于文献[8]的工作，借助不连续映射，构造了Poincar6映射，把单边约束系统的周期解问题转化为非线性常微分方程的边值问题，结合打靶法研究了单边约束非线性系统的周期解、周期解的稳定性和一些经典的分岔等动力学行为。数值研究表明，非光滑系统的打靶法，可以很方便的求得系统高精度的周期解，特别是不稳定的周期解，这是直接数值积分很难得到的。同时，我们对单边约束Duffing振子多个吸引子共存以及经典分岔行为进行了研究。