随着计算机技术的飞速发展,海量的数据源源不断地产生并且呈指数级别的增长,如何从大量的数据中挖掘出有价值的信息成为了当前主要的研究热点。然而,传统的数据挖掘面对大量数据受到了很大的制约限制,随着分布式框架的提出,应用Hadoop、Spark等分布式计算框架成为解决这类问题的主要方法,利用集群的优势很大程度的提升了传统数据挖掘技术的运行效率并且具有良好的扩展性,这对从大量数据中蕴含信息的研究有非常重要的意义。异常检测一般是指运维中偏离正常数据的异常数值,异常检测问题是机器学习算法中一个常见应用,本文重点研究了常见异常检测算法中的隔离森林(IForest:Isolation Forest)算法及其优化方法,并在大数据Spark平台上进行了并行化设计与实现,从而大幅度提升了该算法的性能。本文首先对传统的IForest算法基本原理和Spark框架平台及其并行化运行机制进行分析研究,针对算法IForest的检测精度低、执行效率差、对全局稀疏点敏感,不擅长处理局部相对稀疏点等存在的问题,结合已有的优化策略针对性的提出了两个优化策略:基于局部敏感哈希(LSH:Locality Sensitive Hashing)空间分布数据预处理方法、基于维熵值切分数据的方法。本文的主要研究成果如下:(1)随着数据的不断生成,传统的异常离群点检测技术在处理大量、高维数据时往往会失败。受启发于哈希方法在高维空间中有低存储以及高查询的特性,提出基于LSH空间分布数据预处理的方法,用于对隔离森林算法样本数据进行预处理。LSH方法将最相似的数据分组到一个bucket中,将所有bucket里的相似样本用一个带权重的点取代,一方面能大量减少样本数据的个数,增加后边算法的执行效率,另一方面,使得IForest算法可以处理更高维的数据,提高里算法的应用范围以及准确度.所提出的方法优化实验结果与UCI机器学习数据集中的已有数据对比,实验结果验证了使用LSH方法对数据预处理后的异常检测IForest算法,在效率与精度方面都有很大的提升.(2)尽管IForest算法有时间复杂度低、检测效果好的特点,但该算法不够稳定,并且对噪声特征的鲁棒性较差。1948年,香农提出“信息熵”的概念,解决了对信息量度量的问题,对于一个系统,越是有序,信息熵值就越低,相反,则信息熵值就越高。IForest算法构建决策树时,对每个结点采用随机获取数据集中的一个属性,然后一般使用随机或取中的方式获取到切分值对结点进行切分构建子结点,将“信息熵”的概念引入到切分值的获取中,能更容易使得异常值与正常聚类值提前分离.信息熵可以用来反馈样本数据中每个属性的分布情况.可知,属性越不均匀,就越有可能选择出异常的数据样本,与前边随机选取相比有较高的算法执行效率。本文除了对IForest算法本身优化外,针对算法难以对大量数据进行高效挖掘的问题,基于Spark平台进行了并行化设计实现,提高了算法的并行度。最后以UCI数据集进行了实验验证,实验结果表明,优化后的算法能极大的提升算法的效率与精度。