倒立摆是一个典型的快速、多变量、非线性、绝对不稳定系统，对倒置系统的研究在理论上和方法论上具有深远的意义。对倒立摆的研究可归结为对非线性、多变量、绝对不稳定系统的研究，其控制方法和思路对处理一般工业过程，也有广泛的用途。在这类系统中含有极其丰富和复杂的动力学行为，如分叉、分形和混沌动力学等。本文研究了倒立摆系统的非线性动力学，表明倒立摆系统在某些参数区域内可以出现分叉和混沌运动。本文的研究内容和所获得的主要结果有以下几个方面：(1) 综述了倒立摆研究的历史, 介绍了倒立摆系统在工程实际中的应用及研究现状，总结了近十年来国内外对倒立摆系统的研究进展和取得的成果, 指出了倒立摆研究发展的趋势及进行非线性动力学研究的必要性，介绍了研究倒立摆系统的方法。(2) 采用分析力学方法中的Lagrange方程，建立了二自由度系统的非线性动力学模型。并结合反馈控制理论，对倒立摆系统的运动方程进行简化，无量纲化后，得到倒立摆系统的无量纲运动方程。(3) 应用多尺度方法研究了倒立摆系统在内共振和1/3亚谐共振情况下的非线性动力学响应，得出系统的平均方程，得到了系统的频率响应方程, 对周期解和局部分叉进行了分析。最后应用MATLAB仿真软件对频率响应方程进行数值模拟，得出了系统在内共振和1/3亚谐共振情况下的分叉和频率响应曲线。(4) 应用现代控制理论对倒立摆系统作控制仿真，结果表明被控对象采用线性模型时，极点配置方法对于倒立摆这样的严重不稳定系统的也是相当有效的,并采用MATLAB软件对倒立摆系统运动稳定性作控制仿真，说明结合反馈控制理论对倒立摆系统方程进行简化是有效的。(5) 利用MATLAB数值模拟软件对平均方程和系统的原始动力学方程进行了数值模拟，得到了系统在不同参数下的混沌运动波形图和相位图。数值结果表明在倒立摆系统中可以出现混沌运动，混沌运动具有初值敏感性。上述研究说明倒立摆系统可以出现混沌运动，并且混沌运动具有初值敏感性。