现实世界中的复杂系统与人们的生活密切相关,这些复杂系统都可以表示为复杂网络,其中社团结构作为复杂网络的重要特性之一,对于分析复杂网络的结构属性和潜在功能具有重要作用。复杂网络中的社团结构主要分为两类:一类是非重叠社团,即网络中节点只能属于一个社团;另一类是重叠社团,即网络中节点可以属于多个社团。由于现实世界中大部分复杂网络都具有重叠社团结构,所以本文关注重叠社团检测问题。为了解决这个问题,基于多目标进化优化的重叠社团检测方法近年来引起研究人员越来越多的关注,该类方法可以同时优化多个互相牵制且充分利用网络结构信息的目标函数,最终得到一组不同层次的网络划分,决策者可以根据自己的要求来选择满足条件的社团划分。将多目标进化优化方法应用于重叠社团检测的一个主要挑战就是设计合适个体编码和相应的进化策略,为此,本文从编码的角度出发设计一种双编码表示策略,可以有效对种群中个体进行编码,并解码获得重叠社团结构。在双编码的基础上,本文提出一种基于双编码的重叠社团检测多目标优化方法。为了解决大规模复杂网络中的重叠社团检测问题,本文利用网络归减策略来减小网络规模,并在双编码的基础上又提出一种基于归减的双编码大规模重叠社团检测多目标优化方法。本文的主要研究工作如下:（1）本文设计了一种双编码表示方法,用于分别对社团结构和重叠点进行编码,并提出一种基于双编码的重叠社团检测多目标优化方法（DRMOEA）。在重叠社团检测多目标优化算法中,如何设计合适的编码使得编码能够全面检测重叠点是当前存在的挑战之一。为此本文将复杂网络重叠社团检测问题转化为一个多目标优化问题,同时考虑社团内部联系比例和社团外部联系比例,并提出基于双编码的重叠社团检测多目标优化方法,简称为DRMOEA。在DRMOEA算法中,提出基于社团边界点的初始化策略来获得好的初始个体,从而提高算法检测性能。在进化过程中,针对重叠点编码提出基于精英个体边界点的交叉策略,该策略利用社团边界信息以及种群中精英个体局部信息指导个体进化,从而进一步提高算法检测性能。最后通过实验验证DRMOEA能够有效处理重叠社团检测问题。（2）本文提出一种基于归减的双编码大规模重叠社团检测多目标优化方法（RDRMOEA）。随着网络中节点数目增加,种群中个体的编码长度会随之增大,同时种群的搜索空间也会指数级增大,为此本文提出一种基于归减的双编码大规模重叠社团检测多目标优化方法,来解决大规模复杂网络中的重叠社团检测问题。在RDRMOEA算法中,首先将网络中连接紧密的节点进行归减并重构网络,在进化过程中利用种群间个体的局部相同特性进一步对网络进行归减,并提出个体局部修复策略,用来修复网络中被错误归减的节点。最后在真实网络和LFR合成网络中的实验结果表明,RDRMOEA算法能够有效处理大规模复杂网络重叠社团检测问题。