二十一世纪以来,伴随着网络传输技术的进步和链路带宽的增长,互联网用户和应用快速增长,随之带来的最明显的变化就是数据量呈指数式爆炸性增长,海量的网络流量数据带来了存储和计算方面的问题,凭借着高可靠性、高效性、高扩展性、高容错性和低成本的特点,Hadoop平台成为海量网络流量数据分析的首选平台,然而随着数据量进一步的迅猛增长,Hadoop已越来越力不从心了。此时,Spark应运而生,相比MapReduce而言,它代码更加简洁、计算更加高效。面对日益增长的网络流量数据,网络海量数据分析的性能优化显得尤为重要。本文首先对Hadoop数据分析平台进行介绍,简单阐述了计算模型MapReduce和分布式文件系统HDFS,并重点讨论了 Spark计算框架,包括Spark整体架构、核心概念、作业执行流程以及Shuffle。然后基于海量数据分析应用,提出包括选择合适的算子、改善数据本地性、持久化和选择合适的并行度在内的性能优化方式优化作业,并实验评估对比性能。接下来,对Spark常用的join操作,以PageRank算法为例,实现对join操作的优化与性能评估。这对需要连接操作,特别是对于需要执行多次连接的递归场景非常有指导意义。