海量数据存储系统中硬盘故障预测技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:huimiandiadia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着卫星遥感技术的发展,卫星数量增多,视野扩大,分辨率不断提高,产生的遥感数据量呈指数级增长,给地面数据存储系统带来很大压力和挑战。星上遥感数据持续不间断地下传,地面应用业务频繁访问存储系统,导致硬盘频繁进行读写操作,加速了硬盘的老化和故障的发生,硬盘故障会严重影响存储系统的性能。面向遥感卫星数据地面存储系统,研究海量数据存储系统中硬盘故障预测技术,通过对硬盘状态数据的异常检测来预测硬盘故障,提高存储系统的维护效率。本文主要工作有:提出一种基于自编码器的重构误差的硬盘故障预测模型。目前主流硬盘都具有状态监测记录功能,记录了硬盘使用过程中状态变化的时序数据。通过对硬盘状态数据的异常检测可以预测硬盘故障。对硬盘状态数据分析后发现正负样本存在严重的不均衡,为防止模型在训练时的过拟合和欠拟合,决定采用深度生成模型进行非监督学习来对硬盘状态数据进行异常检测。模型主体是一个“编码器-解码器-编码器”的结构,使用长短期记忆网络LSTM构建自编码器Autoencoder,实现对样本的重构,并加入二次编码实现对潜在特征向量的重构。训练只需使用正常样本,通过减小样本和潜在向量的重构误差约束模型学习正常样本的分布特征。模型还引入生成式对抗网络GAN强化模型的训练。测试时使用更加稳定的潜在特征向量的重构误差作为异常评分标准,样本的异常分数超过一定阈值则被判为异常,进而预测样本对应的硬盘即将发生故障。实验在两种硬盘的数据集上与传统的非监督学习方法进行了对比,该模型取得了更好的硬盘故障预测性能。提出一种基于GAN的预测误差的硬盘故障预测模型。使用LSTM网络设计GAN的生成器,把硬盘状态数据样本的前期序列数据作为生成器的输入,预测输出样本的后期序列数据,避免了基于自编码器重构的模型中存在二次映射造成计算耗时过长的问题。模型采用全连接层提取样本的潜在特征向量,同样只需使用正常样本进行训练,通过减小样本和潜在特征向量的误差来约束模型的训练,检测时使用潜在特征向量的误差作为异常评分标准。该模型在多个数据集上与基于自编码器的重构误差的硬盘故障预测模型进行了对比实验,结果表明该模型在保证一定检测性能的前提下训练速度有了明显提升。
其他文献
高校组织员是推动学生党员发展、开展思想政治教育、加强高校基层党组织建设的重要党务工作者。组织员制度在长期实践中不断完善并成为高校党的建设的一项重要制度,逐渐形成系统化构建的特点。中国特色社会主义进入新时代,党对高校党建工作提出了新的要求,高校要深化党的组织体系建设、推动全面从严治党向纵深发展。组织员制度为高校落实立德树人根本任务,推进党的建设这一伟大工程提供了重要的组织保障。
小学数学课堂中教师有效提问能够激发学生学习兴趣,促进学生发展,便于教师管理课堂并了解学生的学习状况。当前,小学数学课堂中教师的有效提问存在提出的问题缺乏明确性、启发性、趣味性等问题。为提升小学数学课堂提问的有效性,教师可以采取以下策略:明确教学目标,精心设计问题;依据学生特点,注重启发思维;调动学生兴趣,采用多样形式。
农村金融机构在促进乡村振兴发展过程中,存在着供需失衡、产品单一、逐利趋势明显等问题,金融监管也存在着相应的职能缺失。为加速推进乡村振兴发展,需建立激励相容的农村金融机构协同发展体系,从而激发各类金融机构活力,使各金融机构行为方式向乡村振兴这一总体目标趋近。金融机构间应树立利益共同体意识,通过职能互补、创新协同、业务协同、信用协同等方式共同促进乡村振兴发展,推动实现共同富裕。金融监管机构在这一过程中
目的:RNA甲基化修饰作为转录后调控的一种重要形式,对于基因的表达调控具有重要作用。N6-甲基腺苷(m6A)是哺乳动物细胞内mRNA的一种普遍的可逆修饰方式,已证实m6A参与调节mRNA的加工、翻译及衰变。最近研究发现,成年哺乳动物大脑中m6A代表应激后基因表达调控中的一个新窗口,并且m6A表达的失调可能有助于与应激相关的精神疾病的病理生理调节和恢复。但是,m6A甲基化修饰在抑郁症中的作用及潜在机
PM2.5作为大气污染的主要来源,增加了人们的健康风险,因此对每日PM2.5进行研究具有非常重要的意义。本文以山东省为研究区,利用2019年的PM2.5站点实测数据,结合中分辨率成像光谱仪(MODIS)的L3级别的MCD19A2气溶胶光学厚度产品,充分考虑人口、地形、气象等因素,使用RF、SVR、BPNN、DNN等4种机器学习算法对山东省2019年逐日PM2.5进行了模拟。结果表明:在这4种机器学
针对目前学生实验中教师无法兼顾、学生缺乏思考、评价方式单一的现状,尝试在学生实验课构建"教、学、评"一体化模型,以学生实验"实验室制取氧气"为例,从自学评估、要点释疑、学生实验、反思评价、评价反馈五个环节优化学生实验,为核心素养背景下的"教、学、评"一体化的学生实验教学提供借鉴模式和实践参考。
随着我国科学技术和经济文化的进一步发展,设计也取得了很大的进步,我们逐渐步入了视觉传达的时代,其中不乏出现过于理性和商业化的设计,忽略了人们的心理需求和真实需要。因此,设计师要重视人性化理念在视觉传达设计中的掌握与应用,对生活有切实的观察和体会,设计出具有人性化理念的设计产品。
以聚乙烯醇(PVA)退浆废水为研究对象,构建了铁炭微电解强化厌氧生物处理的废水处理系统,对比研究了不同负荷条件下常规水解酸化反应器(R1,无铁炭材料)和铁炭耦合厌氧水解酸化反应器(R2,有铁炭材料)对PVA退浆废水的去除效果、颗粒污泥特性(胞外聚合物(EPS))、挥发性脂肪酸(VFAs)组成及微生物群落结构的差异。结果表明:R2出水平均COD去除率和平均PVA去除率分别稳定在86.8%和75.8%