【摘 要】
:
异常检测是一种重要的数据挖掘手段,它的目标在于发掘与大多数对象不同的对象,这部分对象被称为异常点或离群点。在实际应用中,异常点往往包含了很多重要的信息,提前发现异常对规避未知风险和提高数据质量有着重要的意义。异常检测技术在网络入侵检测、工业故障检测、信用卡欺诈检测等众多领域都有着大量应用。然而在当前的大数据环境下,传统异常检测算法面临着高维数据稀疏性强、海量数据计算速度慢、不同场景下异常定义难等问
论文部分内容阅读
异常检测是一种重要的数据挖掘手段,它的目标在于发掘与大多数对象不同的对象,这部分对象被称为异常点或离群点。在实际应用中,异常点往往包含了很多重要的信息,提前发现异常对规避未知风险和提高数据质量有着重要的意义。异常检测技术在网络入侵检测、工业故障检测、信用卡欺诈检测等众多领域都有着大量应用。然而在当前的大数据环境下,传统异常检测算法面临着高维数据稀疏性强、海量数据计算速度慢、不同场景下异常定义难等问题。针对上述问题,本文提出一种基于多分辨率网格划分的异常检测方法,主要工作内容及创新如下:(1)传统的异常检测算法针对不同的数据,往往需要调整不同的参数才能达到相应的检测效果,在面对大数据时,现有算法时间效率也不尽如人意。本文提出了一种基于多分辨率网格划分的异常检测方法NA,该方法首先引入一个鲁棒性较好的子矩阵划分参数,将高维数据划分到多个低维的子空间,使异常检测算法在子空间上进行,从而保证了高维数据的适用性;然后通过从稀疏到密集的多分辨率网格划分,综合权衡了数据点在不同尺度网格下的局部异常因子,最终输出全局异常值的得分排序。实验表明:新引入的子矩阵划分参数具有较好的鲁棒性,该方法能较好地适应高维数据,并在多个公开数据集上都能得到良好的检测效果。(2)NA算法特征处理模块需要引入子矩阵划分参数,虽然该参数具有较好的鲁棒性,但仍然需要人工设定。本文引入图的思想,提出了一种适用于高维异常检测的特征分组方法,不仅可以自动将高维数据划分到多个低维子空间,还尽可能多地保留了原有的特征信息。实验表明,该特征预处理方法不仅为基于多分辨率网格划分的NA算法提供了无参化的特征处理方案,还有着广泛的适用性和良好的性能。通过该方法预处理数据,多个传统异常检测方法在多个公开的高维数据集上都有不同程度地性能提升。
其他文献
灰色模型适合对样本量少、信息贫乏这类不确定性系统实行预测和决策.传统灰色模型只适用于精确数序列,然而,很多数据序列在某段时期具有很强的振荡性,用区间数表示这段时期的变化范围将更有利于管理决策.本文研究多维灰色模型应用于区间数序列的预测方法,提出了几种新的面向区间数序列的多维灰色预测模型,主要研究工作和创新点如下:(1)提出了基于三元区间数序列的GM(0,N)模型(TINGM(0,N)模型).对传统
随着技术的不断进步,无人机由于其机动性强、部署方便、成本小等特点,被应用于各种领域。当任务数量越来越多,任务约束变得越来越复杂时,单无人机已无法满足任务的需求,逐渐演化为多无人机协同的执行模式。多无人机协同时,必须考虑无人机与任务的众多约束和目标,这使得任务分配成为多无人机协同系统中的关键环节。现有的任务分配缺乏对完整的多无人机多任务分配系统的研究,并且分配方法效率较低,处理大规模任务的能力不足。
在大跨径斜拉钢箱梁桥建设中,桥面铺装作用重大,一直是国内外研究的重点。但从已通车的钢桥面铺装情况来看,我国对钢桥面铺装的建设与国外技术相比差异较大,铺装层所出现的病害也更多。国内的交通组成形式极为复杂,重载、超载车辆占比较高,因此,为保证大跨度钢桥面的行车质量及使用寿命,必须加强桥面铺装层的材料性能、与结构的适宜性、施工的便利性及经济性研究。本文在对国内外大跨径钢桥面铺装设计及环氧树脂沥青铺装层研
矩阵和张量方程问题在近代数学、应用物理、工程技术和生物科学等领域有着众多的应用,其中很多问题实质上是转化为矩阵或张量问题进行的,不少学者对这类问题进行研究,并取得了一系列的研究成果.本课题是对几类矩阵和张量方程迭代算法的研究,这些方程及算法具有很好的理论意义以及广阔的应用前景.文中主要的研究工作为以下三类方程的迭代算法研究:问题Ⅰ 给定矩阵Ai,Q∈Rp×p,其中Q为对称正定矩阵,求X∈A+使得问
在自然界中,激波后方气体的凝结或者蒸发等相变现象时有发生。在低温条件下,气体的音速会降低从而提高了该气体的马赫数,这更利于激波的形成。激波后方的低温相变现象会对机械带来一系列的安全问题,会对叶片表面产生侵蚀,也会导致振动的发生,甚至破坏机械本体。因此,对于激波后方相变传热的研究极具有工程应用价值和科研价值。本文对传统的隔膜式激波管进行了改进,设计了一款活塞式无膜激波管,用两个活塞的关联连续运动来代
本论文拟将实现对水果采摘为目标,重点开展水果感知、采摘位置空间感知及采摘机器人的采摘控制方法研究。研究工作实现水果采摘机器人的现代化、智能化,对我国农业现代化发展具有一定的学术研究价值。具体研究内容包括:⑴研究水果感知方法。针对农业动态非结构环境下,由于光照、表皮泛青色等情况,导致目标特征信息错误甚至缺失、感知效果较差的问题,提出一种基于小波变换与Otsu阈值去噪的目标感知方法。首先,基于颜色模型
对布朗运动和布朗单极限性质的研究已有许多深刻的结果.本文继续对布朗运动和布朗单相关的样本轨道极限性质问题进行讨论.本文在前人研究的基础上,以布朗运动的大偏差为工具,对布朗运动和布朗单增量的局部极限定理进行研究.本文主要内容如下:首先,研究了布朗单增量的局部泛函重对数律,在布朗运动的局部重对数律结果的基础上,将其有关结果进行推广到两参局部的情形,得到了布朗单的局部重对数律.通过借助大偏差进行证明,得
智能驾驶是机器辅助人进行驾驶,以及在特殊情况下完全取代人类驾驶的技术,是提高道路交通安全的重要途径之一。具体来说,智能驾驶可通过将多种传感器数据融合实现车辆周围环境的精确感知,让智能驾驶车获得自身所处的确切环境,实现车辆自主驾驶。但是,车载传感器都有其感知的局限性,特别是感知区域被其他物体遮挡导致感知盲区时,仅凭单一车载感知设备来实现智能驾驶的挑战非常巨大,因此,为实现车辆的感知盲区补充,如何选择
对变系数椭圆方程和抛物方程研究Legendre Galerkin(LG)谱配置最小二乘法.针对一类变系数的椭圆方程,给出了LG谱配置最小二乘法,结合Chebyshev配置法,得到具有对称正定的离散系统,便于利用迭代方法求解.在数值分析中,该方法耦合了Legendre方法的良好稳定性;在数值计算中,由于采用的Chebyshev插值具有快速计算的特点,所以对变系数部分的处理更具优势,并且通过选取的合理
进入21世纪以来,全球卫星导航系统(Global Navigation Satellite System,GNSS)技术发展迅速,并趋向成熟。在绚烂的城市之中,交通网络给人们生活带来极大的便利,可靠的位置服务技术变得越来越重要。由于城市高楼大厦、隧道、矿井等室内环境逐渐增多,室内定位技术得到极大的应用。室内复杂环境会严重制约卫星信号,导致GNSS定位结果差强人意,甚至会出现定位不可靠的问题。所以国