无线通信、移动宽带以及嵌入式等技术的不断进步,使得智能手机等移动设备的计算及网络功能不断增强。智能手机成为结合了电信网以及因特网的统一通信设备,并逐渐成为个人的信息中心,随着用户数量飞速增长,其上的恶意软件也越来越多,不仅危害到移动设备安全、用户隐私财产安全也危害到了互联网和电信网的安全,如何保护移动设备及网络的安全是学术界和产业界所关心的重点问题。智能手机安全防护技术中,操作系统安全加固和数字签名等技术还不足以遏制恶意软件,主流的智能手机安全软件大多基于特征匹配,虽然能够检测到已公开的恶意软件,却对未知的恶意软件无能为力,并且由于移动网络的特殊性,软件的特征库很难保证及时更新。移动网络安全防护中,传统的入侵检测系统难以应对新型的移动网络DoS攻击。异常检测假设入侵者活动异常于正常主体的活动,通过对系统用户的正常行为轮廓进行模式化的定义,将偏离正常行为轮廓的行为认定为异常,因此异常检测技术能够检测到未知恶意程序以及新型的DoS攻击,是当前移动互联网安全防护领域的研究重点之一。本文围绕着如何检测移动设备上的新型恶意软件以及如何防御和检测移动网络DoS攻击,展开如下研究：首先,我们提出了一个基于结果融合的分布式移动设备异常检测系统,其中智能手机客户端负责收集特征并发送到远程服务器,服务器运行多种检测算法对特征向量进行异常检测分析,并使用DS证据理论融合多个检测算法的结果,实验证明结果融合可以有效增加检测准确率。我们采用客观权值与主观权值相结合的赋权法进行特征的选择,通过实验确定了最佳特征集大小。我们还通过设计实验方案分析了客户端负载、检测率、误判率等性能指标,证明了该异常检测系统框架的有效性。其次,根据人类日常活动的规律性以及用户使用智能手机的周期性,我们提出通过比较待检测特征向量和以往周期相近时间段的特征向量集的距离即可判定该特征向量是否异常,采用不受特征间关联以及特征取值范围影响的马氏距离作为距离衡量的标准,并通过实验证明该基于周期的异常检测方法提高了对正常程序运行时的后台恶意程度的检测率。并且我们引入了滑动窗口机制,在保证检测率的前提下,有效减少了由于用户反常操作引起的误判。最后,基于对移动网络新型信号DoS攻击原理的分析,我们发现攻击者利用移动网络中的重要参数以最小的开销获取最大的攻击效果,为此我们提出了随机化参数设置的方法,可以有效增加攻击难度、大量减少攻击产生的信号消息,并通过仿真实验验证。但是参数设置的方法并不能避免DoS攻击,为了能够及时检测到DoS攻击,我们又提出了一种基于周期性概率分布的移动网络异常检测方法,将归一化后的固定时间内所有连接的移动设备的某项网络特征作为概率分布,通过周期性的比较概率分布之间的KL散度来判断是否异常,并通过模拟实验证明该检测方案的有效性。