随着数据的爆炸式的增长,我们已经进入大数据时代,如何从这些数据资源中挖掘出有价值的信息,正在成为工业界和学术界的热点之一.而网络数据是一种重要的数据形式,通常从各种复杂系统收集到的数据形式是孤立的,将数据之间隐含相互关系的链接整合处理后就形成一个复杂网络.因此对网络数据的研究分析是深入理解大数据内涵价值的途径之一.本文在第二章综述了复杂网络的启发式社区发现方法.考虑含有节点邻域信息的新模块度函数的社区发现方法和最优分组下标度参数的选择问题,通过谱松弛方法求解模块度函数的最大化问题,最终利用新算法快速求解,并通过真实网络数据验证算法能更好的发现社区.进一步,要研究庞大数据量的网络数据结构的性质与形成机制：必须先实现对于真实网络数据的获取,从而验证算法的有效性.而分布式计算是快速高效处理数据的框架,因此开展基于分布式计算框架的数据处理是必由之路.本文第三章,面对真实的网络数据,我们实现了从网页上收集数据并对于此数据基于Spark分布式计算框架高效快速的完成了对数据的清洗与整理.