【摘 要】
:
孤立点检测作为大数据研究中的一项重要技术,在网络监测、电信和信用卡欺诈、金融证券服务等各大应用领域中都发挥着巨大的作用。孤立点检测的目的在于找出一个数据集中与大多数对象行为显著不同的一部分对象。在众多的孤立点检测方法中,基于聚类的方法因其不需要预先知道数据集的分布和参数少等特点而脱颖而出。但是目前基于聚类的孤立点检测方法中,一部分方法仅通过优化聚类算法来提升孤立点检测的效果,另一部分仅聚焦于簇内孤
论文部分内容阅读
孤立点检测作为大数据研究中的一项重要技术,在网络监测、电信和信用卡欺诈、金融证券服务等各大应用领域中都发挥着巨大的作用。孤立点检测的目的在于找出一个数据集中与大多数对象行为显著不同的一部分对象。在众多的孤立点检测方法中,基于聚类的方法因其不需要预先知道数据集的分布和参数少等特点而脱颖而出。但是目前基于聚类的孤立点检测方法中,一部分方法仅通过优化聚类算法来提升孤立点检测的效果,另一部分仅聚焦于簇内孤立点的发现。因此本文通过对这两种类型的方法进行分析融合,提出了新的算法并完成了一个新的系统,主要研究工作如下:(1)提出一种基于k-means的融合局部和全局信息的孤立点检测算法。该算法首先使用k-means进行聚类,其次根据基于密度的类内孤立判定得出候选孤立点集,最后根据基于距离的类间孤立判定在候选孤立点集中得出最终的孤立点集合。并将该算法与3种孤立点检测算法在7个经过数据预处理的数据集上进行了实验,通过一系列的评价指标对比验证了所提算法的有效性。(2)提出了一种基于k-means误差损失的孤立点检测算法。该算法以k-means算法作为局部搜索过程,采用增量方式逐步确定数据集中的非孤立点,最终将未选中的点确定为孤立点。并且将该算法与3种孤立点检测算法在7个经过数据预处理的数据集上进行了实验,通过所给出的评价指标验证了所提出的算法可以更精准地检测出数据集中的孤立点。(3)设计并实现了一个基于MATLAB的孤立点检测系统。该系统包括数据集选择、算法选择、参数设置和实验结果可视化等功能。系统集成了本文所使用和提出的孤立点检测算法,操作简单,界面清晰,运行高效,并且具有很好的可移植性和交互性。综上所述,本文针对基于聚类的孤立点检测方法存在的问题,提出了新的解决思路。并且设计实现了一个新的包含本文所提出算法的孤立点检测系统,可以更好地帮助用户运用孤立点检测算法解决生活和工作中遇到的问题。
其他文献
近年来,面向智慧司法服务的法律判决预测已成为自然语言处理领域的研究热点。判决要素抽取是法律判决预测研究的重要子任务之一,其旨在从法律文书的事实描述中自动识别出不同的判决特征,现有研究主要是从法律文书的事实描述部分抽取出判决要素词汇或句子。法律判决要素抽取是判决预测研究的重要依据,为判决预测的结果提供可解释性。本文基于2019中国“法研杯”司法人工智能挑战赛“要素识别”任务,重点研究面向法律文书事实
聚类集成能够产生高质量和鲁棒的划分结果,解决了单一聚类算法只能解决特定问题的缺陷。聚类集成主要包括了两个步骤:(1)生成基划分;(2)信息矩阵的表示及生成一致性聚类结果。加权聚类集成和聚类集成选择是从不同的角度进一步提高聚类集成方法性能的两种方法。聚类集成选择生成基划分后采用不同的准则选出高质量的基划分结果,目前鲜有工作从基划分结果中簇之间的关系出发设计衡量基划分质量的标准。现有的加权聚类集成方法
中西方绘画是世界历史文明发展史上重要的文化作品形式之一。在历史进程中出现了许多优秀的绘画作品,这些优秀作品是研究历史、文化、艺术和科技的重要载体。随着互联网技术数字化的日益普及,越来越多的绘画艺术作品被录入电子图书馆,艺术爱好者欣赏优秀的绘画作品变得更加容易。逐渐增加的数字绘画图像为学者们带来丰富的研究资源,同时,如何将大规模的数字绘画图像进行有效分类,是目前亟需解决的热点问题之一。绘画作品与普通
近年来,机器阅读理解研究受到国内外自然语言处理领域学者的广泛关注,已成为评价基于自然语言理解的智能系统的核心任务之一。2015年,国家科技部启动“语言问题求解和答案生成关键技术及系统”项目,其主要目标是研制出能够参加我国高考的智能答题机器人,并提升机器对自然语言的理解能力。在该项目的推动下,面向真实高考阅读理解试题的自动答题研究成为近年来机器阅读理解任务中的又一挑战。深度学习方法已被证明是机器阅读
机器阅读理解是近年来自然语言处理一个热门研究领域,本文聚焦高考语文文意理解多选题,该题型考查的是对文章局部信息、主旨、作者意图和态度的把握,文意理解的选项复杂多变,主要测试机器对文章语义关系、散文结构、写作技巧、篇章主题和作者情感等内容的理解能力以及对文章整体的把握能力,挑战极大。本文首先分析选择题与选项特点,其次将选择题答题技术分为两种,一种是基于两段式的阅读理解答题技术,一种是基于联合训练的端
2018年教育部新课标方案提出人工智能进课堂,将编程技术纳入高考范围,编程地位直线上升。在国家的号召下,现在很多中小学都非常重视学生编程能力的培养,所以开发一个编程教学管理与资源推荐系统对学校高效的开展编程课程是非常有必要的。目前中小学程序设计等课程存在的主要问题有:学生上机练习机会较少,缺少便捷高效的编译环境;教师与学生之间课堂沟通不足;学生自学时,面对种类繁多、数量庞大的学习资源,难以选择。编
随着智慧司法服务的快速发展和广泛应用,对司法文书的分析与挖掘已引起越来越多的关注,命名实体识别(NER)作为司法领域研究中的一项基础性任务,它能为司法知识图谱构建、法律判决预测和机器阅读理解等一系列的研究工作提供重要的知识。命名实体识别旨在识别出文书数据中的实体指称项,并标明其实体类别。近年来,许多命名实体识别的研究工作均基于深度学习、神经网络模型等,但专门针对司法领域实体识别的研究还相对较少。目
大数据时代,实际应用领域搜集到的数据往往呈现出更多复杂特性,作为一种较多见的数据形式,区间型数据在金融、气象、农业等诸多领域广泛存在。尽管对于区间型数据的表示、分析、挖掘已有一些研究,但大多数研究都是针对静态区间型数据,对于实际应用中随时间不断更新的动态区间流数据,目前的研究还相对较少。由于区间流数据所具有的时序特征,传统静态区间型数据的分析挖掘方法往往不能直接使用。针对这个问题,本文提出一种基于
随着现代信息技术和移动互联网的发展,信息量以惊人的速度产生和传播,面对数不胜数的信息量,人们难以在短时间内筛选出有用信息。为了帮助用户在节省时间的同时寻找到有用信息,推荐系统应运而生,并得到迅速发展。传统推荐算法通常认为用户兴趣随时间推移是稳定不变的,然而,在真实场景中,随着时间的变化,用户兴趣偏好不断发生改变,新产品的出现、季节的交替、流行趋势的变化等均会影响用户的选择。因此,如何从历史行为数据
随着“互联网+”在教育领域的不断渗透,在线学习平台丰富的学习资源为人们获取信息提供了新的契机。但学习资源的多样性和广泛性导致数据呈指数级增长,致使平台用户难以获取满足自身需求的资源。为了追求平台的用户访问量和学习资源点击量,个性化学习资源推荐算法应运而生。它可根据学习者的行为日志挖掘和推送满足自身需求的学习资源,从而达到“个性化推荐”的目的。然而随着在线学习平台数据海量聚集,资源过度膨胀,传统推荐