随着互联网技术飞速发展,各行各业的数据以指数形式爆炸式增加,大数据的时代已经来临。如何高效地分析和挖掘这巨量的数据已成为人们关注的重点。高效地处理海量不规则的数据需要强大的数据处理能力,传统的单机方式已无法满足需求。分布式技术的出现极大地推动了基于大数据的分析和挖掘。Spark和Hadoop是目前两种使用最广泛的分布式并行计算框架。本文采用Spark作为大数据分布式处理平台。因为Spark不仅具有Hadoop中MapReduce的优点,还是基于内存计算,并有调度优化的机制和更加丰富的算子表达式。对于高迭代的复杂机器学习算法,Spark具有很大的优势。条件随机场(the conditional random fields)是一种概率图模型,它可以融合多种特征,并能够找出观察序列和标注序列之间对应的关系,已经被广泛应用在自然语言处理(NLP)中的许多领域。传统的条件随机场训练时间长了,在处理大数据时时间效率低。现有的条件随机场并行化研究工作主要是基于MPI,GPU和Hadoop的,然而它们没有考虑分布式环境中的带宽和磁盘读写的瓶颈。本文基于分布式内存计算框架Spark,提出了一种优化的并行条件随机场模型SCRFs。主要工作包括以下几个方面:(1)基于Spark平台,并行化条件随机场的特征生成、参数训练、模型预测三个阶段,提高了模型的时间效率。因为在训练阶段需要多次迭代计算,每次迭代都需要将原始的训练数据转换为中间结果,所以选择将中间结果缓存到内存中避免重复计算,从而缩短了计算时间。(2)本文从两个方面改进了模型:观察到参数训练的每次迭代过程中,由于模型的特征向量维度非常大,导致网络成本高。采用哈希特征的方法进行特征降维,用最小的成本来保留最多的原始特征信息;由于LBFGS算法更新一次参数需要计算所有数据的梯度,导致处理大数据时效率低。采用Batch-SGD的方法实现针对大数据的快速迭代计算。(3)将改进的条件随机场SCRFs在Spark上进行实现。本文实验环境采用Spark集群生产环境,将改进的模型SCRFs并行化。最后在Spark集群中测试其分类精确度、召回率、F1值、时间性能和加速比。结果表明改进后的模型在Spark平台上处理大数据时具有非常明显的优势。