非线性动力学理论和方法在各种工程技术如航空航天、机械、交通、化工、电子、生命科学等领域中得到了广泛应用,相关研究成果不仅解释了工程实践中出现的许多复杂现象,而且为解决其中的许多实际问题提供了理论指导。混沌作为非线性动力学的分支之一,揭示了自然界确定性与随机性的统一、有序与无序的统一、简单与复杂的统一。特别是混沌序列的伪随机性和对初值的敏感性,为数字图像加密提供了新的思路。混沌系统的生成和混沌图像加密是相互联系又相互独立的研究课题,也是当前混沌研究的热点,具有较为重要的理论意义和实际应用价值。本文针对混沌理论研究和工程应用的实际需求,围绕如何生成具有丰富动力学特性的混沌系统进行了深入研究,设计并分析了几种基于混沌系统的图像加密方案,主要内容和成果概括如下:（1）为了获得更为复杂的动力学特性,提出了新的双曲型混沌系统模型。首先采用双曲正弦函数和绝对值函数构成非线性项,对Jerk系统进行改造,生成了一个三阶双曲正弦型混沌系统,理论证明了系统在平衡点处发生Hopf分岔的条件,分析了系统的基本动力学特性、反单调性、吸引域、动力学地图和倍周期分岔现象,发现了仅仅受初值控制的共存吸引子现象,然后引入双曲余弦函数和线性反馈控制项,生成了一个四阶双曲余弦型混沌系统,分析了系统的动力学行为,利用分岔图和相图等方法研究发现系统存在混沌、周期和超混沌等三种共存的隐藏吸引子。仿真结果证明了所提出系统的可行性和复杂性,这种复杂结构的非线性系统可以广泛用于图像加密。（2）在线性系统的基础上,采用混沌反控制的方法构建了两个分段线性的混沌系统模型。首先根据Shilnikov定理设计异宿轨道,在两个平衡点之间构建异宿环,生成了一个三阶分段线性混沌系统,分析了混沌吸引子的形成机理,证明了异宿环存在的充分条件。然后构建了一个五阶的分段线性混沌系统,分析了该系统的动力学特性。该系统在线性系统的基础上,通过采用阶跃函数扩展系统的平衡点,从而产生网格状多涡卷吸引子,具有复杂的动力学特性。（3）为了增强系统的不可预测性,提出了一个基于非线性系统切换控制的混沌系统模型。首先通过改造Jerk系统的方法设计了一个非对称的三阶混沌子系统,分析了其基本的动力学行为,观察到反单调性,发现了在自治系统中特别少见的三个完全的费根鲍姆树串联的现象。然后设计了一个切换平面,将该系统与双曲正弦型混沌系统合成一个新的切换系统,研究了切换平面对系统性能的影响,分析了切换系统的动力学行为和吸引子产生机理,发现了系统存在多吸引子共存的现象,数值仿真验证了系统的可行性和不可预测性。（4）在物理上实现了本文所构造的混沌系统。首先根据混沌电路模块化设计的思想,在电路仿真的基础上,优化电路结构,采用模拟系统仿真实现了三阶分段线性混沌系统。然后选用Euler法对混沌系统进行离散化,利用SOPC技术在FPGA开发板上实现了切换控制混沌系统、双曲正弦混沌系统、双曲余弦混沌系统和五阶分段线性混沌系统等。实验结果与仿真结果一致,验证了所构造混沌系统的有效性和可行性。（5）研究了所构造的混沌系统在图像加密中的应用,提出了两种基于混沌系统的图像加密方案。首先利用构造的五阶多涡卷混沌系统产生混沌序列,设计了一种新的基于“置乱+扩散”结构的图像加密算法,该算法具有较大的信息熵和密钥空间,仿真结果验证了该算法的有效性和安全性。然后设计了一个基于S盒的图像加密算法,将本文构建的五种混沌系统与S盒相结合应用于图像加密,比较了五种加密方案的性能,分析了产生性能差异的原因,指出了系统动力学行为的复杂性对图像加密具有积极的影响。仿真结果表明五种算法均有较好的加密效果,具有较好的抗攻击能力。