基于Storm的海量交通数据实时处理平台的研究

来源 :北方工业大学 | 被引量 : 11次 | 上传用户:joelin0725
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
交通数据实时处理是当前智能交通系统中的一个热点研究问题,通过对不同设备采集的海量交通数据进行准确、高效的实时计算能够为各类交通管理业务和交通信息服务提供有效的支撑,帮助解决交通拥堵等诸多交通管理问题。交通数据实时处理具有数据连续、计算时延短、计算不间断、多类型数据混合等特点。本文以实验室承担的某大型城市车辆缉查防控系统中基于车牌识别数据流的违章车辆实时甄别处理为背景,提出了一套海量交通数据实时处理方法,设计了基于Storm的海量交通数据实时处理平台,并针对Storm原始调度存在的负载倾斜问题重点研究了面向交通实时处理作业的调度技术。论文的主要工作包括:1)基于对交通数据特征的分析,提出了一套海量交通数据实时处理方法,界定了数据接入、数据组织、数据计算、结果输出等海量交通数据实时处理关键步骤的内容,并结合现有流式计算模型对上述步骤涉及的数据接受预处理、多类型的数据接入、数据在节点中的索引结构、数据在节点间的组织方式以及数据输出接口等关键技术进行了分析和描述。2)对海量交通数据实时处理中的任务调度问题进行了深入研究。为提高交通数据实时处理的性能,解决Storm默认调度策略存在的调度方式单一、节点之间负载不均衡等问题,提出一种基于固定节点直接分配的FNS调度策略和一种基于负载均衡的LBS调度策略,并实现了与之对应的任务调度器,实验表明基于FNS算法的调度器能够将一些运算简单的交通作业固定分配在一个单一工作节点上,基于LBS算法的调度器每次能从资源数最多的节点开始任务分配。3)设计并实现一个基于Storm的海量交通数据实时处理平台。基于该平台,实现了套牌车辆甄别等违章车辆自动甄别应用中的实时计算算法,并利用真实交通数据集模拟实时交通流数据进行了实验和评估,验证了交通数据实时计算的实时性和准确性。
其他文献
本文以90°沉头孔和台阶沉头孔为研究对象,基于冲锻复合成形工艺,分别制定了90°沉头孔和台阶沉头孔的三种冲锻复合成形方法。采用DEFORM分析比较了每种成形方法的行程-载荷
<正> 学习兴趣在青少年的心理发展过程中具有重要作用。青少年的学习兴趣对他们知识的掌握、能力的发展、个性的培养乃至才能的形成都有巨大影响。天津师范大学赵恒泰同志最
牟宗三先生前期的易学专著《周易的自然哲学与道德函义》致力于揭示一套中国式的自然哲学,后期的易学作品《周易哲学演讲录》则旨在阐发一种儒家式的道德形上学。从自然哲学
语法是培养学生语言运用能力的基础,是构成学生英语学习的框架和基础,是初中英语教学的重要组成部分,也是英语教学的难点,本文对整体教学法在初中英语语法教学中的应用进行了
乡镇是我国政权管理体系的最基层,是联系服务群众的“最后一公里”。乡镇党政办公室作为乡镇党委、政府的综合办事机构,处于服务基层的“第一线”和服务群众的“最前沿”,工作千
报纸
<正>福尔马林浸种:用100~300倍的福尔马林浸种15~30min,捞出,清水洗净,催芽播种。适合黄瓜、茄子、西瓜、菜豆等,能防治瓜类枯萎病、炭疽病、黑星病、茄子黄萎病、绵腐病和菜豆
<正>道里水上饭店,是滨江组的秘密办公处,三楼两个房间挂着"永民公司"筹备处的招牌,实际上这是军统滨江组一个比较隐蔽的活动据点。密室里01何士英向科、队头目交待:"‘雪狼
目的:探讨肿瘤性甲状旁腺功能亢进的临床表现、诊断方法以及术中检测甲状旁腺素在手术治疗中的作用。方法:回顾性分析2003-01-2012-10收治的37例功能性甲状旁腺肿瘤的临床资
<正>大港油田供水公司水表计量检定站担负着大港油区的生产、生活供水计量和用水计量水表、速度式液体流量仪表的计量检定工作。由于水表和速度式液体流量仪表的检定是按实际