本文运用动力系统的方法来分析一类耦合二阶非线性系统的动力学行为，此系统在天体力学、等离子物理、非线性光学等许多实际物理问题中有着广泛的运用，对其各种解的性质的深入研究和认识具有重要的理论意义和现实的实用价值.由于非线性动力学问题在一般情况下很难求得精确解，除了用数值方法和渐进分析方法求近似解外，更重要的是利用动力系统分支与混沌理论来分析系统动力学随参数的变化规律，特别是分析系统平衡解、周期解、拟周期解、同宿异宿解和混沌解等各种特殊解随参数的分支及其稳定性，并研究系统可积性和不可积性的参数条件. 可以看出在系统(1)中，耦合项的系数为b12和b21，因此我们可以根据这两个系数的不同情况对系统进行分类讨论：i)当参数b12，b21都为零时，该系统的两个方程是完全解耦的，且都是平面Hamilton系统，此时利用平面动力系统理论就可以分析清楚系统的平衡点个数、类型以及全局相图；ii)当参数b12，b21只有一个为零时，根据系统中两个方程的对称性，不妨假设b12=0，b21≠0，此时系统的第一个方程可以单独求解，将解出的x1代入第二个方程中的耦合项x21x2，可将系统(1)转化为关于x2的二阶非自治非线性方程.本文研究的是当x1为周期函数，对应于第一个方程的周期解，此时将x1代入第二个方程得到的系统具有平面Hamilton周期扰动系统的形式，本文运用Melnikov方法分别研究了系统同宿轨的存在性以及次谐周期解的存在性.iii)对于参数b12，b21都不为零的情况，若b12，b21同号，则我们经过适当的尺度变换之后，可以得出系统(1)是具有两个自由度的Hamilton系统.本文利用Lyapunov中心定理说明周期轨道的存在性，并且重点分析了其平衡点类型为鞍点和鞍-中心的情况下，利用Melnikov方法说明系统的混沌性.