安卓平台由于开源性、开放性以及与优秀的谷歌服务的无缝结合,使得安卓一跃成为市场占有率最高的移动智能终端操作系统。移动恶意应用可以窃听通话和窃取隐私信息,给个人、企业甚至国家带来了不容小觑的威胁。移动恶意流量检测一直是各大安全公司研究的热点问题,而目前大多数的研究工作未考虑到真实网络中流量数据不平衡问题,导致分类结果不能很好的贴合实际需求。另外,现有的移动流量分类算法大多采用有监督算法,需要大量有标记样本进行训练,导致训练成本过高。针对上述问题,本文围绕移动恶意流量分类问题进行了相关研究,主要研究工作和创新点如下:一、针对实际网络情况中的流量数据不平衡问题,提出一种基于遗传繁殖原理的自适应过采样方法。首先计算马氏距离将数据集分为母本和父本两个部分,接着依次从母本和父本中取出样本进行配对,利用该对样本合成新的样本,继续将祖先和前面产生的子代进行交配直至符合预设的采样倍率下的样本数量,然后计算不同采样倍率下数据集的多样性度量,最后得到最优采样倍率和对应的最理想数据集。通过实验验证该采样方法能够改善流量数据集的不平衡程度,在恶意流量仅占总样本的5%时,整体分类准确率提升最大,达到12.8%。并且提出的过采样方法相比传统的过采样方法能够在采样数量最少时使总体分类准确率提升最大,优于传统的过采样方法。二、针对现有的移动恶意流量分类研究中大多使用人工标注数据集,人工标注成本高,以及对新型复杂的恶意软件产生的流量分类性能差的问题,本文提出了一种基于栈式自编码的安卓恶意流量分类算法。通过自动编码器无监督学习流量数据的深层次抽象特征,无需大量人工标记的样本,大大降低了训练成本。堆叠多个自编码器形成栈式自编码网络,通过无监督特征提取和有监督微调两个训练阶段提升安卓恶意流量分类效果。实验结果表明,栈式自编码算法在准确率和误报率性能指标上,要优于卷积神经网络和单层的稀疏自编码网络。