面向大规模流数据处理的近似计算及质量保证策略研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:killme2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来可提供实时处理能力的流式计算已成为大数据研究和应用领域关注的热点。虽然面向在线处理需求的分布式流数据处理模型已被广泛应用于加快数据处理速度,但是数据的指数级增长和实时性需求的增加仍为流数据处理带来了极大挑战。近似计算技术通过牺牲少量精确度,能够有效地缓解大规模流数据处理的高耗时和高时效性之间的矛盾。因此,研究流数据实时近似处理相关技术,对提高系统处理效率、减少资源消耗、满足实时性需求具有至关重要的意义。然而,近似技术在提高处理效率同时也会降低输出结果的精度,近似计算有效的前提是能够为数据质量提供适当的评估和保证,不可控制的质量损失会抵消近似带来的收益。因此,如何选择适应于不同应用的近似方法,对近似计算所得的结果进行质量评估,进而选择在相应的阶段进行不同程度的近似,尽可能地降低精度损失,是利用近似技术处理流数据时亟需解决的问题。本文基于上述问题,主要开展大规模流数据应用中近似处理技术和数据质量问题的研究。以采样近似技术为核心,综合考虑数据规模、处理能力及数据质量等因素,设计通用或应用专用的流数据近似处理方法和质量保证策略。同时针对典型应用场景—物联网,研究采样思想在传感数据流近似收集中的运用,以及通过与其他近似技术的有效结合,如何确保收集数据的质量。本文的具体工作和主要贡献如下:1.从数据处理能力角度,考虑数据规模超过计算能力的情况,提出大规模流数据的在线自适应近似处理方法及误差控制策略。为解决实时流数据分析中获取数据认知和控制输出误差问题,提出一个动态自适应近似数据分析框架。首先,面向持续到达的流数据,设计了在线数据学习策略,该策略能够自动学习数据子层权值,并根据反馈信息进行触发式更新;其次,设计了基于采样的近似算法,考虑实时负载的变化对采样资源需求的影响;最后,根据用户提出的不同误差需求,提出了用户自定义的在线误差控制策略,该策略检测近似输出并及时纠正较大误差。2.从数据采样节点角度,考虑如何优化采样节点部署,解决大规模传感数据流的近似收集和数据重建问题。结合具体的水下传感网络应用场景,提出了基于骨干网络的近似数据收集策略,该策略同时考虑近似操作和水下频繁数据丢失对数据质量的影响。然后利用置信传播算法对未收集及由传输导致的缺失数据进行推断,综合考虑时间、空间、多元等多种因素对缺失数据进行高质量的数据恢复。为确保数据质量满足用户需求,提出了基于统计理论的质量评估方法,对推断后的数据进行质量评估和改善。3.从数据资源重要性角度,考虑不同频率的数据缺失情况,解决(近)实时的传感数据流收集问题。结合水下传感网络应用场景,提出基于RNN的低开销高质量的水下数据近似收集方法。首先,在数据传输中放弃了传输协议中使用的自动重传机制,并将由此所造成的数据丢失转移到数据中心去处理。考虑不同程度的数据缺失情况,提出一种基于RNN的数据学习模型来有效地处理数据丢失问题,该模型通过综合考虑数据缺失特征和变量相关性,对空间或变量相关的数据进行缺失值填充和预测。针对通用场景和具体应用场景,本文设计了高效的数据流近似处理策略,并在设计近似策略的同时考虑资源调度与质量结果之间的耦合关系,深入研究数据源端近似收集方法、近似分析方法、误差分析和控制等相关机制。
其他文献
随着社会经济的发展和社会消费水平的提高,消费税征收范围的确定逐步成为社会关注的问题。以分析现行消费税征收范围呈现的特点以及最新调整的依据为切入点,通过分析新经济背
目的做好病区药物管理工作,保障住院患者用药安全。方法我院住院药房联合护理部组成药物检查组,对发现的问题及时分析,提出整改建议和措施。结果通过近1年的检查、跟踪及整改
在对山东省和全国平均蔬菜主栽品种投入产出对比分析的基础上,运用数据包络分析方法测算出2011年两者露地蔬菜和设施蔬菜生产的技术效率,对比分析得出山东省蔬菜生产效率情况。
目的 探讨单绒毛膜双羊膜囊双胎选择性宫内生长受限(sIUGR)的脐血代谢物构成及生长受限胎儿与正常胎儿的代谢差异. 方法 采用单卵双胎配对设计,通过气相色谱-飞行时间质谱进行s
因违规向'楼市'输血,9月中旬,中信信托、建信信托两家头部信托公司遭罚。据银保监局处罚信息显示,中信信托、建信信托分别因信托资金违规用于房地产开发企业缴交土地
报纸
在环境压力日趋加大的今天,开展低碳城市建设、全面实现低碳生活逐渐成为社会各界的共识。本文,笔者以中国石油化工股份有限公司洛阳分公司(简称洛阳石化)河阳家园小区为例
老城厢是天津多元文化的重要组成部分和源头,代表着天津的历史和传统地域文化,是奠定天津历史文化名城的基础。本规划在功能业态格局上主张多元融合,内环核心区不同空间形态,建筑
扬雄是我国西汉著名的文学家、思想家、辞赋家。扬雄一生创作了大量的作品,其作品涉及哲学、文学、语言学等多个领域。目前,学界对扬雄的研究不论从语言、文学、哲学上都取得
目的:探讨70kDa热休克蛋白8(Heat shock 70kDa protein 8,HSPA8/Heat shock protein 70,HSC70)在正常与不同退变程度的腰椎间盘髓核组织中的表达情况,进而评估HSPA8在人腰椎间盘退变过程中的作用,并对椎间盘退变程度与HSPA8表达的关系进行分析。方法:2017年6月—2018年4月我院行腰椎间盘手术患者标本共收集72例,其中18例作为对照