长时间序列的相似性检索研究及其并行化实现

来源 :福建师范大学 | 被引量 : 0次 | 上传用户:ogldfish
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,各个行业的数据量都开始呈现出一个增长的趋势,而“大数据”这一概念也成为了时下一个非常火热的话题。时间序列作为数据中常见的一个种类,数据量同样也在不断快速增长,因此对于时间序列的处理也变得越来越占用资源。在面向时间序列的研究中,时间序列的相似性是一个非常基础同时也是非常重要的科研方向。由于传统常用的计算时间序列相似性的算法复杂度过高,长序列的相似性计算经常会遇到计算资源不足的情况。因此降低计算相似性算法的复杂性或计算资源,是时间序列研究的一个重要研究方向。本文以DTW(Dynamic Time Warping)算法为基础,从时间资源与空间资源两个方面对时间序列的全序列匹配问题和子序列匹配问题进行改进,主要完成了以下三点工作:1.改进时间序列局部相似检测算法。针对时间序列局部相似检测时的时间复杂度与空间复杂度过高的问题,提出了适用于MapReduce框架下的路径分割与拼接方式,在保证算法精确度的前提下,降低了算法的空间资源占用与运行时间消耗。本工作的创新部分在于对序列进行分割计算路径后,提出了对路径进行拼接的算法,将复杂的计算分摊到分布式集群各个节点中,不仅减少了算法运行的时间,而且将单机无法提供的海量内存需求分布到各个节点,充分解决长序列寻找局部相似时遇到的时间与空间的问题。2.改进DTW回溯路径算法,提出线性空间复杂度动态规划算法,将原DTW算法在计算回溯路径所需O(MN)的空间减少到O(N)空间,其中M,N分别是两条参与计算的时间序列长度。本工作借鉴了 Hirschberg算法,提出了 DC-DTW算法,解决了 Hirschberg算法使用在时间序列上结果不精确的问题。DC-DTW通过迭代计算的方式,将DTW算法的空间复杂度降低为线性,并且能够精确地计算出DTW距离以及相应的回溯路径。3.在线性空间复杂度动态规划算法工作基础上,提出一种分布式长时间序列相似性搜索应用框架。该应用框架通过下界距离计算过滤了不相似的时间序列对,然后再计算DTW距离,降低了相似性搜索时所需的时间与空间资源。首先,应用分布式框架计算下界距离,并应用DTW下界距离将相似的时间序列对作为候选序列对筛选出来,再与线性空间复杂度动态规划算法计算相结合,计算候选序列对之间的DTW距离。以上计算均在MapReduce框架中进行,并已经完全实现。
其他文献
近年来,建筑业日益蓬勃发展,在国民经济中已占有重要地位。但与此同时,其涉及面广、成交额大以及可变因素多等特点,使其具备了很高的风险性。如建筑市场中供需关系不对等问题的存在,致使建设单位与施工单位在市场上的主导权与话语权极大失衡,具有优势地位的发包人往往截留拖欠工程价款,严重制约了施工单位的发展和竞争能力,甚至引发了群体讨薪、农民工自杀等一系列社会问题的产生。为解决工程款拖欠的现实困境,我国《合同法
近年来,由于融合教育理念的普及化及特殊教育政策的实施,特殊教育教师群体逐步受到关注。在组织行为学中,组织公民行为是个体自愿表现出的正式报酬之外对组织有益的行为。与普校老师相比,特殊教育教师在工作中需要富有更多的爱心、更持久的耐心和责任感,特殊教育教师的组织公民行为就尤为重要。因而,在研究内容上,本文对新疆地区特殊教育教师组织公民行为的现状、问题及对策进行研究。在研究方法上,本文通过量化处理,对新疆
随着无线通信技术的快速发展,5G逐步商用并走进人们的生活。在5G系统中,大规模多输入多输出(Massive MIMO)技术的使用能够有效消除用户间干扰,极大提高频谱效率和系统容量。然而,在Massive MIMO系统中,由于天线数目的大幅增加,传统的信道估计、信道反馈、信号检测等技术的复杂度也大幅度提高,存在一些难以克服的问题,这使得人们开始研究更有效的解决办法。近年来,随着深度学习技术的不断发展
学位
镁及镁合金由于拥有良好的生物相容性、生物可降解以及与人骨相接近的弹性模量,引起了越来越多研究者的关注,镁合金良好的性能使其可以成为替代包括不锈钢,钛合金等传统医用植入物。但是,基于镁合金本身化学性质比较活泼,在富含Cl-的环境中(人体生理环境)极易遭受腐蚀的特性,以及腐蚀后产生的腐蚀产物H2和Mg(OH)2极易引发局部炎症和碱中毒的现象,这些都限制了镁及其合金在生物上的进一步应用。钙磷涂层是一种生
该实践报告选用英国首相特雷莎·梅在世界经济论坛2018年年会上发表的演讲作为口译实例,研究分析在英汉同传中可采取的口译策略。在地缘战略竞争加剧的背景下,该演讲旨在探讨
我国以制造业、地产业为支柱的经济经历了快速发展升,当前面临制造业在价值链层面上移的问题,当前我国劳动者素质不断提高、资本的聚集效应提升和规模化降低成本速度减缓,产业升级的趋势日渐强化,研发创新成为企业未来突破升级壁垒的重要途径。中美间的科技竞争又面临新一轮激烈的角逐,我国企业研发创新提升技术水平是全面缩小中美科技产业间技术差距,甚至从细分领域首先赶超美国的重要手段。基于财务数据研究的融资约束对研发
学位
在煤矿等工业现场中,输送管道被广泛的用来运送物料,在输送管道送料口存在工作人员落入输送管道的安全隐患。为保障工作人员的人身安全,亟需一个对密闭管道进行探测的方法,在危险发生时及时探测到人体,停止输送设备运转并发出警报。本文针对煤矿井下转载机密闭管道存在人员落入的安全隐患,提出了一种基于红外成像与电容检测信息融合的密闭管道人体探测方法。主要研究内容有:通过阅读大量参考文献分析了现有的人体探测方法的应
学位