近年来,随着系统科学研究的深入,人们发现自然界的系统存在着不同程度的复杂性。在进一步推动科学的进程中,复杂性科学已经成为科研工作者研究的热点问题。现实中的实际系统往往伴有参数不确定、随机干扰噪声和延时等复杂性问题。本文依据Lyapunov稳定性理论、矩阵理论和分数微分学理论,按照复杂系统耦合方式从规则到随机的顺序,研究了具有不同耦合的复杂系统性质,并探讨了系统的同步。全文主要工作如下：(1)研究了单个混沌系统的性质及其同步。首先,利用分数微分理论和预估校正方法,得到了一类带有参数q的混沌映射系统,.增大了混沌映射的参数空间。借助最大Lyapunov指数图、分岔图和系统相图等工具分析了系统的混沌性质。其次,采用Backstepping方法设计了控制器,考察了复数域下的永磁同步电机系统延时同步。最后,进一步研究了复数域下的超混沌Lorenz系统,得到了系统的复数投影模相同步。(2)研究了具有规则耦合的时空混沌系统及其同步。首先,采用邻接耦合格子模型,将多个混沌映射和混沌系统进行耦合,提升了系统的维数和复杂性,得到带有参数q的耦合时空混沌系统。借助分岔图、时空演化图和最大Lyapunov指数图等工具,探讨了系统间耦合强度和系统参数的相互作用,得到了系统的最优混沌参数区间。然后,基于耦合时空混沌系统模型,综合系统维数不统一、变量非实数、非整数阶和参数不确定等复杂性,考察了同类分数阶时空混沌系统的同步和不同类型的时空混沌系统间的同步。最后,通过实现保密通信发送端与接收端时空混沌系统同步,提出一种二级混沌保密通信方案,提升了保密通信的安全性。(3)研究了具有网络随机耦合的神经网络系统同步。首先,结合分数微分学,建立了分数阶神经网络模型,考虑了系统的参数不确定性,并借助线性矩阵不等式(Linear Matrix Inequality, LMI)得到了系统的同步判据。之后,将神经网络引入到复数域内,建立了复数神经网络模型。在此基础上,根据Lyapunov稳定性理论,探讨了一类具有延时和不确定拓扑结构的复数神经网络同步问题,设计了神经网络同步控制器和模相同步控制器。在此基础上,进一步考察了离散延时复数神经网络同步,获得了离散神经网络的同步判据。(4)研究了具有网络耦合,状态变量为逻辑变量的布尔网络同步。首先,利用半张量积(Semi-Tensor Product, STP)工具,采用线性化表示的方法,考察节点间具有逻辑关系的布尔网络模型。将复杂网络内部同步的概念引入到布尔网络中,研究不同更新机制(同步和异步)布尔网络的内部同步和外部同步。在此基础上,进一步研究了具有多种更新模式和异步更新机制的异步切换布尔网络,分别采用自由布尔序列控制方法和反馈控制方法,研究了异步切换布尔网络同步,给出了同步判据。最后,研究了布尔网络的聚类同步问题,设计了同步布尔网络和状态相关异步布尔网络的循环同步控制器,实现了布尔网络聚类同步。