基于相关性的高维时间序列清洗技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:minjiangfashion
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数十年来,我国经济快速发展,各行各业产生了大量的数据,其中就包含了时间序列数据。时间序列数据通常具有维度高、数据量大等特点,尤其是工业和制造业大数据,常见的制造业时间序列数据具有大体量、多源性、连续采样、价值密度低、动态性强的特点,给数据清洗带来了难度和挑战。工业数据采集平台往往包含各类模块化协同工作的传感器设备组,同组的传感器所采集的数据可能模式相似,而不同组传感器之间的数据可能存在模式相关关系。这种多维时间序列的相关关系可以加以利用,以提高数据清洗的效果和效率。近些年来,针对基于约束的时间序列清洗研究取得了较好的成果,但目前对时间序列清洗的研究主要集中在利用时间上的相关性清洗一条时间序列上,而对多维时间序列的清洗研究较少,并且没有很好地利用到序列间的相关性。因此,本文对基于相关性的高维时间序列清洗算法进行研究,主要研究内容如下:(1)针对基于约束的时间序列异常检测方法,本文讨论了约束的分类和几种基本的约束,提出了使用速度约束进行异常点检测的问题,设计了时间复杂度为O(n2)的动态规划算法,并通过将问题转化为二维区域查询问题,使用二维区间树优化动态规划算法的时间复杂度,得到了时间复杂度为O(n log2n)的优化算法。(2)针对具有空间相关性的高维时间序列异常检测,本文提出了一个高效的检测框架。该框架首先对数据进行预处理,结合先验知识与相关性的计算确定可疑序列,然后在可疑序列上执行时间序列异常检测和清洗算法。该框架可以结合多种时间序列清洗算法,具有较好的扩展性。实验表明在低异常序列比例、高异常点比例的情况下具有较好的准确率和召回率。(3)针对具有物理机理相关性的高维时间序列清洗,本文使用函数约束描述序列间的物理机理相关性,并提出了多约束下的数据清洗框架。该框架依次检测每种类型的约束是否满足,得到数据的约束违反特征,并通过与先验知识中的异常表征进行比较,将追溯异常原因问题转化为最小代价集合覆盖问题,通过启发式算法求解该问题,得到异常原因。
其他文献
专利申请公开制度是一项重视产业发展,并充分考虑公众利益与权利人利益平衡的制度。比起契约论,对于申请公开制度的合理性的探讨更能在产业政策论中找到答案。在对18个月的公
准确把握未来炼铁技术发展方向,对钢铁企业实现转型升级和可持续发展具有重要意义。通过系统总结、对比分析当前中国钢铁行业和炼铁工艺面临的形势、国内外炼铁生产技术现状
《简爱》是英国女作家夏洛蒂·勃朗特创作的一部充满"圣经"元素的作品。该书描写了简·爱的一生,也成功地塑造了主人公简爱的独立女性形象,生动地描写了简爱敢于挑战,敢于反
2004年11月11日,我国正式加入《关于持久性有机污染物的斯德哥尔摩公约》,公约是开放式限控清单,按照公约第8条规定,任一缔约方均可向秘书处提交旨存将某一化学品列入公约控
<正>常委吴棉国:发挥侨海优势助力构建"双循环"发展创新服务体系,引导外资投向高新技术、先进制造、新能源、现代农业、现代服务等领域,鼓励外资在福建投资设立研发中心,降低
目的 探讨北京市东城区社区家庭医生签约服务对老年2型糖尿病患者的干预效果.方法 选择2018年1-10月期间在北京市东城区社区卫生服务中心门诊就诊的老年2型糖尿病患者400例,
<正>在当今一些中学校园里,"同性恋"现象客观地存在着。广州某中学心理教师熊老师说:"今年我做过辅导的‘同性情侣’就有三对。刚从广东省某名牌职业学校二年级退学的可乐今
目的:通过观察芪参强心合剂对气虚血瘀型慢性心力衰竭患者的中医证候积分、左室射血分数(LVEF)、B型脑钠肽(BNP)、6分钟步行距离、NYHA心功能分级及相关安全性指标的影响,评
随着企业的发展与壮大,企业的内控、规章制度、业务流程的不断完善可以使在主营业务领域生根发芽的企业规避由于制度不健全、管理缺失带来的运营风险。然而,随着组织架构的不断复杂化,企业不可避免地会出现“大企业病”。究其原因,主要在于企业不同部门之间在专业知识、职能属性、考核方式等方面存在差异,且由于各部门处在运营过程中的节点不同导致了本位主义思想严重、沟通障碍加剧从而加剧了企业内耗、降低了企业运营效率。互
结合关于化纤行业的相关方面数据,对我国化纤行业进行了简要的分析,提出深化行业构建绿色智能化工厂的重要性。以桐昆恒邦厂区纺丝三车间四期项目为例,阐述了构建绿色智能化