大数据具有大量（Volume）、多样化（Variety）、快速化（Velocity）和价值高、密度低（High Value and Low Density）的基本特征，通常指使用传统流程或工具无法进行高效处理和分析的数据。近年来，云计算、物联网及社交网络等技术的快速发展，推助网络承载的数据量急剧增加，传统的加密存储技术和管理方式已很难满足大数据在速度、容量、存储效率和安全性等方面的要求。大数据环境下，用户的数据安全与隐私保护面临着巨大的冲击与挑战，引起了工业界和学术界的高度关注。针对大数据加密方案中目前存在的速度慢、实时性差、效率低等问题，探索了一种基于数据消冗技术的大数据加密算法，论文的主要研究内容和创新点包括：1.大数据通用加密模型及加密技术原理研究。在对大数据基本特征及通用加密模型进行系统研究的基础上，深入剖析了基于现代密码体制、基于生物工程、基于属性基和基于并行计算四类大数据加密方案的技术原理和优缺点。2.提出了一种基于Bloom filter技术的大数据消冗算法。根据大数据信息海量、数据量增长快、数据类型多样化、密度低和冗余度高等基本特征，深入研究了完全文件、固定长度块、变长分块和滑动窗口4种消冗方案的匹配精度、时间开销和空间开销等性能。采用Bloom filter技术对大数据进行降维处理，在集合完全文件检测技术计算速度快、Bloom filter空间和查询效率高效和变长分块检测方案额外开销少优点的基础上，设计并实现了一种适用于大数据的重复数据检测及删除算法。实验结果表明，新算法在时间开销、空间开销和匹配精度方面具有良好的性能，在保证检测重复率的同时，速度也达到了令人满意的效果。3.提出了一种基于数据消冗技术的大数据加密算法。在对大数据进行消冗处理的基础上，结合椭圆曲线加密算法以及AES分组密码工作模式在计算速度、并行性和安全性等方面的特点，提出了一种基于数据消冗技术的大数据加密算法。按照加密算法的评价体系，对新算法的加密耗时、密钥空间和安全性进行了评估。实验结果表明，该算法具有较好的安全性，能够有效提高大数据加密处理的速度。