基于无服务器架构的物联网数据异常检测研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:huimiandiadia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网数据异常检测是物联网、大数据和机器学习等技术融通结合的应用场景之一。异常检测对提升物联网系统的安全性、稳定性以及所采集数据的准确性有重要意义。然而,传统物联网云平台不支持机器学习模型的部署,这给物联网大数据的开发利用带来了桎梏。目前主流的解决方法是在Iaa S云主机上部署算法模型来实现异常检测端,但是这种方式存在“闲时计费”问题,成本高昂,且伸缩性和通用性较差。因此,如何在现有异常检测算法的基础上作出改进和创新,并在物联网场景中实现实时、通用、准确且低成本的异常检测是本文面临的主要挑战。为了解决上述问题,本文创新性地实现了一种基于无服务器架构的物联网数据异常检测系统,具体贡献如下:1.在无监督场景中创新性地将深度嵌入聚类引入异常检测领域中,提出了基于深度嵌入聚类的无监督异常检测算法;在半监督场景中对现有的ADOA(Anomaly Detection with partially Observed Anomalies)异常检测算法作出了改进。提升了两种场景下的异常检测效果。2.创新性地将无服务器架构与物联网场景结合,改善了传统物联网云平台难以部署机器学习模型的痛点。无服务器架构具有的事件驱动、自动缩扩容、按调用次数计费等特点能在提升物联网系统性能的同时大幅降低服务成本。3.基于OneNET物联网云平台和阿里云函数计算平台开发了一个通用、准确、实时且低成本的物联网数据异常检测系统,并在城市垃圾填埋场传感器数据集上进行了案例研究。为了验证本文提出算法及系统的优越性,本文在ODDS系列数据集以及真实物联网数据集上进行了实验,并在Iaa S云主机和无服务器架构下分别部署进行对比。结果表明,本文提出算法及系统在异常检测的准确性、响应延迟、吞吐率和服务成本等方面均更具优势。
其他文献
针对多辆卡车在高速公路上协同运输的场景,学术界和工业界已经对自动驾驶的车队系统进行了广泛的探索。在部署智能车队之前,十分有必要确保其驾驶行为的安全性。自动驾驶车辆的行为都由决策功能指挥,其决策基于观察到的驾驶场景。然而,目前仍然缺乏有效的验证方法来确保队列系统中基于场景的决策过程的可靠性。在本文中,我们针对跨海高速公路上行驶的智能重型卡车组成的队列驾驶场景,提出了一种形式化建模和验证方法,为队列车
随着自然语言处理技术的发展,任务式对话系统的应用也越发广泛,其中意图识别(Intent recognition)与回复生成(Response generation)是任务型对话系统中的两个重要的组成部分。意图识别旨在通过对用户的上下文的理解,判断出用户当前的行动目标,而回复生成根据当前的对话状态生成对话内容反馈给用户,使得机器回复内容更加符合对话历史与当前场景。因此,对于意图识别和回复生成的研究有
学位
最近数十年,由于现代互联网及其相关技术的迅猛发展,人与人之间各种复杂的交互愈加频繁,直接导致了在线社交网络规模的快速膨胀,进而促进了研究人员对在线社交网络的研究兴趣和热情。社交网络的种类以及应用场景非常丰富,例如舆情社交网络中的舆情分析与控制,在线社交系统中常见的即时用户推荐、重要人物影响力分析等等。而合作者网络作为社交网络的一种重要子网络,在近年来也受到了非常大的关注。随着学术大数据的逐渐普及,
聚对苯二甲酸乙二醇酯(PET)具有高机械稳定性、良好的耐热和耐腐蚀性等优点已被广泛使用,大量的废旧PET难以得到有效降解和回收。到目前为止,有关PET降解和资源回收的方法主要包括机械法回收和化学法降解及回收等。尽管废弃塑料回收技术得到普遍应用,但这些技术在应用时具有回收成本高、回收产品价值较低等缺点。因此,开发性价比高的塑料回收技术是废弃塑料处置领域亟需解决的问题。本课题组近期开发的三维电化学反应
基于过硫酸盐的高级氧化技术由于其高效的污染物降解能力和较强的环境水体适应性,引起了广泛关注。过硫酸盐活化方式众多,其中非均相催化剂活化无需外加能量和化学试剂,具有独特优势,但有限的表面暴露活性位点限制了其对过硫酸盐的活化效率。二维(2D)材料具有比表面积大的特点,表界面更容易暴露活性位点,有利于催化反应进行。因此,本论文以提高非均相催化剂对过硫酸盐活化性能为目标,设计合成了NiO和Co Mn O两
在5G通信、自动驾驶、物联网等技术的推动下,汽车产业进入了一个飞速发展的时期。车载设备通过无线技术连接网络,可以为用户提供更加丰富和强大的功能,但同时也为车辆安全带来了威胁。一辆智能网联汽车可能配置有几十个甚至上百个单子控制单元,并且配备有蓝牙、WiFi、安卓操作系统等各种接口,导致车载网络暴露在更加开放和复杂的环境中,使得CAN总线更容易受到攻击。由于CAN总线协议在设计之初没有考虑信息安全方面
学位
如今每天都有海量的视频内容不断产生,传统的人工分析已经远远无法胜任这种量级的任务,因此自动化的视频分析算法变得非常重要。在视频分析领域,识别经过剪辑的视频片段中的动作类别是一个重要的任务,然而实际上大多数视频是未经剪辑的、包含动作和背景的长视频,如何在这类视频中定位动作的时序位置,是本文的研究重点。此外,由于传统的动作定位方式无法识别视频中复杂的动作组合、细节,或者是人与环境的交互行为,本文又研究
通过合成生物学手段构建基因细胞工程生物传感器,并与集成电路技术相结合,对代谢疾病的诊断与治疗具有重大科学意义和转化应用前景。而对于基因细胞工程生物传感器相关芯片中的电源管理系统,需具有低功耗的特点,因此其设计十分具有挑战性。本文基于中芯国际40nm CMOS工艺,设计了一款可应用于低功耗生物微弱光信号检测So C中的低功耗电源管理系统。本文的主要研究成果如下:1、通过低功耗生物微弱光信号检测So