近年来,对于混沌的研究越来越受到学者们的重视。各种新的混沌系统不断被发现和提出,丰富和完善了混沌学的研究内容,并且使混沌学在图像加密、视频加密、保密通信、故障诊断等领域的实际应用范围更加广泛。在该研究中,本文的主要工作为:1.提出一个新的三维自治混沌系统,研究所提出系统的动力学特性,理论分析和数值仿真结果验证该系统在一定参数范围内具有混沌特性。在此基础上,运用拓扑马蹄引理更准确地判定该系统混沌吸引子的存在性,并设计该混沌系统的模拟电路,对该混沌系统进行物理实现。另外,对新混沌系统利用全局控制法,设计一种反同步方案,通过理论分析、数值仿真、电路设计和电路实现,从多个角度对该同步方案进行验证。并以混沌掩盖的方式将该混沌系统应用于保密通信研究,表明其具有较好的应用前景。2.在整数阶新混沌系统的基础上,进一步构造一个新的分数阶混沌系统并对其混沌特性进行深入研究。首先,基于预估-校正时域法绘制该分数阶混沌系统的相轨迹图、Lyapunov指数图和分岔图,数值仿真表明该系统在一定参数变化范围内存在混沌吸引子。在此基础上,针对该分数阶混沌系统的同步问题进行研究,基于极点配置方法以及扩展的非线性状态观测器理论,设计一种投影同步方案,实现该分数阶混沌系统的同步。并将该方案应用到保密通信中,数值仿真分析结果表明该方案是有效和可行的。采用改进型电路设计方法,借助Multisim电路仿真软件设计出该分数阶混沌系统及其同步模拟电路,通过示波器观察到该系统混沌吸引子及同步相图。3.将所提出的新分数阶混沌系统应用于数字图像混沌加密,给出一些图像加密的评价指标,采用异或空域加密的算法设计图像加密方案,对彩色数字图像进行加密解密,并对密文进行直方图、相邻像素的相关性和秘钥敏感性分析等进行安全性分析。分析结果表明,基于新分数阶混沌系统的图像加密算法具有秘钥空间大、密文分布均匀、安全性高等特点,说明该系统对数字图像加密是有效和可行的。