自适应调整QoS的数据流卸载框架及其关键技术的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:TC3000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式,对数据的访问也是多次和连续的,并要求即时的响应。研究表明传统的关系数据库系统难于适应这种流式应用的数据管理需求,因此如何有效地开发一种新型的数据库系统来满足这种新的数据处理要求已成为目前研究的一个热点课题。由于数据流的突发、潜在无限等特性和存在CPU处理能力、内存容量等资源瓶颈,系统经常出现系统超载的情况,这使保证系统的服务质量产生困难,设计有效的卸载技术显得尤为重要,但是数据流速的动态变化性、数据处理时间的难以预测性等使设计合理高效的卸载控制策略成为一项挑战。 数据流管理系统中的查询处理需要满足各种服务质量(QoS)要求,其中延迟是用户非常关注的QoS参数。本文提出了数据流管理的服务质量自适应框架,它综合考虑了CPU和内存的限制,能适应多种策略。一方面它能保证CPU负载的平稳和CPU处理能力被充分利用。另一方面内存缓冲区卸载控制器管理内存负载,超载时进行卸载处理,清洗器清洗不满足QoS要求的数据,调度器优化了数据传送顺序,以保证系统有更高的效率和在动态环境中具有良好自适应性。 本文实现了QoS自适应框架,讨论了FIFO,EDF,RED等多种策略,并设计了基于控制理论的控制算法。其中运用了系统辨识的方法建立系统数学模型,讨论了PID控制的参数整定,还涉及了网络突发数据的模拟算法。实验结果表明,该框架具有稳定性好、健壮性强的优点,在错失率相同的情况下,卸载率、系统资源利用率等几方面性能均优于与其它现有方法。
其他文献
如今多核技术的发展大大提高了计算机的运算能力,但也愈发使得内存子系统的性能成为计算机整体性能的瓶颈。如何提高片外DRAM带宽利用率是实现多核性能存储关键之一。而内存的
在对大规模科学数据进行处理时,往往会因为其具有规模大、特征复杂的特点,使得理解、分析这些科学数据,并从中获取知识变得十分困难,对于这些数据,科学家已经不满足于传统的
近年来,随着越来越多对等软件的问世,对等系统(Peer-to-Peer,简称P2P)迅速成为人们关注的一个热点。对等数据管理系统是一类用于共享结构化数据的对等系统,然而,数据映射表作
抽象状态机(Abstract State Machines,ASM)的基本思想可以追溯到上个世纪80年代.ASM的发明者Yuri Gurevich从数学领域转到计算机领域发现这样的现象:一个程序语言在不同的编
近年来,GPU设备的性能有了大幅的提升,但是现有的帧内预测相关工作却并不能有效地利用此类设备的强大的计算能力,其主要原因在于算法并行度不高。这些工作大多都只是停留在帧内
考试是检测学生学习成绩的一个重要手段,也可以在一定程度上评测任课教师的教学效果。在传统的方式下,组织一次完整的考试至少要经历四个步骤:人工出卷、考生考试、人工阅卷、成
混沌现象是20世纪人类最重要的科学发现之一。在过去的20多年时间里,人们对混沌的研究主要是从一些实验及数值模拟来观察和量化混沌。随着对混沌现象认识的不断深入,如何应用
均质压燃(HCCI)是目前内燃机燃烧领域的研究热点。HCCI是以预混合燃烧和低温反应为特征的燃烧方式。采用HCCI可以有效降低柴油机的NOx和碳烟排放,并提高内燃机的循环热效率。H
建立数据仓库时,集成的数据是进一步分析、统计和数据挖掘的基础。另外,数据仓库中的数据必须是共享、可重用的,而不是造成了新的信息孤岛。而数据仓库中现有的ETL方案只能在语
二维条码技术是当前研究和应用的一个活跃领域,产业界与研究界在这一领域的工作正在不断地拓展与加深。除传统的商贸、制造业、医疗卫生、物流等行业外,二维条码技术的新的应用