【摘 要】
:
随着微服务的发展和机器学习在各个领域的广泛应用,智能化的微服务指标异常检测成为工业界新的研究热点。传统基于静态阈值的异常检测规则人工配置成本高,并且当业务场景发生变化时,阈值也要对应变化,已经不能很好满足复杂场景下的微服务异常检测的需求。当前的异常检测算法大多是无监督学习,其检测效果不佳。若使用有监督学习,虽然异常检测效果好,但是获取标签数据的成本太高。本文为降低配置微服务异常检测规则的成本,结合
论文部分内容阅读
随着微服务的发展和机器学习在各个领域的广泛应用,智能化的微服务指标异常检测成为工业界新的研究热点。传统基于静态阈值的异常检测规则人工配置成本高,并且当业务场景发生变化时,阈值也要对应变化,已经不能很好满足复杂场景下的微服务异常检测的需求。当前的异常检测算法大多是无监督学习,其检测效果不佳。若使用有监督学习,虽然异常检测效果好,但是获取标签数据的成本太高。本文为降低配置微服务异常检测规则的成本,结合实际需求,设计并实现了一个基于集成学习的微服务异常检测系统。本文主要工作如下:(1)设计了一种低耦合度的异常检测系统架构。在技术实现上采用微服务架构的设计模式,实现前后端分离、后端组件化和多实例部署,保证了系统的可扩展性和可用性。使用任务机制将后端分为三个组件:API Server、Scheduler和Processor,分别负责任务管理、任务调度和训练检测,降低了组件之间的耦合度。(2)提出了一种无监督集成学习和有监督集成学习相结合的异常检测方案。集成i Forest、OCSVM和LOF三种无监督学习,对原始的时序数据生成冷启动标签。冷启动完毕后,使用随机森林算法对有标签的时序数据进行训练,得到异常检测模型。实验结果表明,无监督学习在集成优化后生成的标签质量相较于集成前有显著提升,并且随着用户不断对异常检测结果进行反馈,模型检测效果会越来越好。(3)实现了一个实用的微服务异常检测系统。按功能划分为两个模块:训练检测模块和任务管理与调度模块。训练检测模块的功能包括时序数据预处理、生成冷启动标签、训练检测模型和执行异常检测,由Processor负责实现。任务管理与调度模块的功能包括任务管理、任务调度和任务反馈,由API Server和Scheduler负责实现。实现了简洁的前端页面,提供了任务管理和反馈的入口。对系统的功能需求和非功能需求进行了测试,并对异常检测结果进行了分析,验证了该系统的有效性和实用性。
其他文献
背景和目的胆固醇是细胞膜的重要组成部分,本身具有形成结晶的特性。动脉粥样硬化(Atherosclerosis,AS)斑块内胆固醇结晶(Cholesterol crystals,CCs)脱落随血流进入肾脏组织,可沉积于肾小动脉中,直接阻塞血流和/或引起炎症致肾单位丢失。因常规病理切片制备过程使用有机溶剂可使CCs溶解,使其光镜下常表现为狭长、两头尖、腰部凸的梭形空隙这一独特的形态学改变。有关肾脏血管
目的:本临床研究旨在通过分析特应性皮炎患者在治疗前后肠道菌群的变化并与健康对照组对比,从而明确特应性皮炎患者的肠道菌群特征,探究与病情、疗效相关的肠道菌群特点并探索参与特应性皮炎异常免疫反应的可能关键菌群。方法:收集2019年4月-2019年8月就诊于东部战区总医院皮肤科门诊的特应性皮炎患者,根据纳入与排除标准分别设置实验组和对照组,其中对照组为健康志愿者,统计分析患者基本信息,同时两组患者均留取
外泌体内含的microRNA(miRNA)具有肿瘤特异性的表达谱,且在肿瘤发生和进展中发挥重要作用。检测外泌体中miRNA的表达水平能为肿瘤的诊断和治疗提供关键的依据。本论文的工作以发展灵敏度高、可靠性好、适用性强的外泌体miRNA检测技术为目标,利用功能化的纳米探针建立了一类基于表面增强拉曼散射(SERS)和单分子荧光(SMF)的新型miRNA-21(mi R-21)光学检测方法,成功地实现了m
产学研数据服务平台的科技文献数据来源于互联网文献知识库,但处理科技文献数据时不得不面对作者姓名歧义的问题。作者姓名歧义问题是指在以作者姓名作为主要标识的文献数据库中,由于学者同名现象的普遍存在,经常出现无法判断文献所属作者的情况。而在推进产学研合作过程中,工作人员和企业通过科技文献检索对应专家学者,作者姓名歧义会严重影响检索的准确率。因此,构建一个能有效消除姓名的歧义,准确判断文献作者归属的数据清
随着科技的进步和VoIP技术的发展,高网速、低时延、无卡顿的网络语音通话日渐成为网民的日常需求,2020年突如其来的疫情更加凸显线上会议的重要性。在科技的赋能下,即时通讯软件和线上会议系统发展迅速,使企业与用户摆脱了距离的束缚,沟通更加便捷。但现有软件通常依赖熟人社交,容易将工作和生活混在一起,降低工作效率;同时存在登录及通话功能操作复杂、用户使用不便、流量费用昂贵和某些情况下缺乏互联网信号等问题
本文在一台75 t/h循环流化床(CFB)燃煤锅炉机组上,分别对溴改性稻壳焦吸附剂、溴改性椰壳焦吸附剂与溴改性活性炭吸附剂进行了烟道喷射脱汞的试验研究与现场汞测试。分别检测烟气、固体样和液体样的汞浓度,获得了各污染物脱除装置前后烟气中的汞形态浓度及分布,比较了三种吸附剂的脱汞效率,获得了喷射条件下燃煤电厂污染物控制装置的协同脱汞效率。试验结果表明,在不喷射吸附剂的情况下,布袋除尘器(FF)几乎能够
改革开放以来,随着国家经济的不断发展,建筑业蓬勃发展。但在建筑业的发展过程中,仍然存在许多问题。传统建筑业普遍存在现场管理混乱、生产方式粗放化等问题。因此,国家对建筑业的转型升级需求不断提升,发展新型建筑工业化势在必行。在建筑行业有序平稳的发展过程中,由于大量的环境问题,使得建筑行业在健康和安全方面产生巨大消极影响,影响企业的经济效益和长远健康发展。在工程项目上,一旦发生健康与安全事故,轻则造成建
熟料筒仓是水泥厂重要的物料贮存车间,具有储量大、占地面积小、综合费用低,环境低污染等优点。近年来国内外水泥工业的蓬勃发展,水泥工程层出不穷,直径超过50米,容量超过10万吨的大型熟料筒仓应用也越来越普遍。大直径熟料筒仓的静动力学理论虽然前人做了大量的研究,还不够完善和成熟。在贮料压力、温度作用下的计算理论、设计方式方法等方面研究仍需进一步研究和改进。本文以尼日利亚某水泥厂50米大型熟料筒仓为例,经
随着信息技术的发展,现代企业的运作日益依赖于它。在生产环境中,信息使用者无法预测灾难的发生,使得人们对于数据备份恢复的需求日益急迫。当前市面上使用的分布式数据库备份恢复模块主要存在以下问题:对在线业务性能影响大、恢复的数据不一致、恢复性能低等。本文在容器化分布式数据库系统中采用基于GTID的一致性机制和Write Set并行回放事务日志机制,设计并实现了具有最终一致性的高性能备份恢复模块。论文的主
重油深加工综合利用项目采用加热和蒸馏的方式通过反复地冷凝、汽化将原油分割成不同沸点范围的油品或半成品。原油分离成石脑油、航空煤油、柴油、蜡油等,并输送到下游各装置。重油深加工综合利用项目的产品覆盖了下游大型炼化和精细化工的基本原料,可以说产品的性能决定了整个炼化系统的优劣和炼油利润。目前国内有很多炼化基地,但是分布较为零散且产能偏低,拉长了产业链。装置自动化设施老旧,较多控制回路未投入自动,故障率