【摘 要】
:
我国建筑行业发展迅猛,施工工地体量庞大,但工地安全防范及管理措施相对国外信息化程度较低,每年全国因安全行为不合规造成的伤亡不计其数。运用物联网技术、大数据及云计算技术对工地行为进行智能化管控的智慧工地应用是如今建筑行业对施工工地进行管理的发展趋势。但智慧工地管理系统同时接入大量施工工地,每个工地又同时存在多个数据采集设备,若这些海量数据同时发送至云平台,会造成数据高并发现象,给平台带来巨大的负载压
论文部分内容阅读
我国建筑行业发展迅猛,施工工地体量庞大,但工地安全防范及管理措施相对国外信息化程度较低,每年全国因安全行为不合规造成的伤亡不计其数。运用物联网技术、大数据及云计算技术对工地行为进行智能化管控的智慧工地应用是如今建筑行业对施工工地进行管理的发展趋势。但智慧工地管理系统同时接入大量施工工地,每个工地又同时存在多个数据采集设备,若这些海量数据同时发送至云平台,会造成数据高并发现象,给平台带来巨大的负载压力,进而造成数据丢失、服务器崩溃等影响系统正常运行的问题。研究数据高并发问题不仅能够提高智慧工地管理云平台的可用性,同时具有重大的现实意义。本文以智慧工地下的施工现场用电安全监控子系统为应用场景,对其在接入云平台时产生的海量用电数据高并发问题做出研究。系统接入大量配电箱用电数据及状态采集设备,设备将采集的数据发送给云平台,平台进行任务调度、实时计算分析、展示结果等业务,其面临典型的数据高并发问题。本文就如何对高并发数据有效处理的系统架构、负载均衡算法和实时计算进行如下研究:1.分析施工现场用电安全监控系统的高并发场景需求,考虑到单一服务器无法支撑系统后端庞大的数据量,采用集群形式来缓解单一服务器的负载压力。设计出适用于该系统的高并发架构,包括接入层、数据分析层和应用层,本文着重研究架构中高并发数据接入和实时计算两部分。2.高并发数据接入平台,易造成集群服务器负载率不均衡,个别服务器负载压力过大。为解决此问题,结合HAProxy负载均衡器和云计算下的虚拟化技术进行任务调度研究。任务调度将不同任务调度到合适的服务器上执行,并用任务分配完成时间和服务器负载均衡效果来评价调度算法的优劣。粒子群算法(Particle Swarm Optimization,PSO)搜索速度快、效率高、算法简单,是常见调度算法,但其容易陷入局部最优。本文针对其算法缺陷提出基于讨论机制的粒子群算法(Discussion Mechanism PSO,DM-PSO)来求解最优服务器,搭建Cloud Sim云计算仿真平台,与其他调度策略进行对比实验证明:DM-PSO算法在系统中能有效优化负载均衡问题,进而提升系统吞吐量。3.高并发数据任务调度之后需对任务进行实时计算,实时捕捉到对项目有用的信息,并把结果发送出去,实时计算效率会影响前序高并发的数据接入处理。传统D-Stream和NDD-Stream算法对海量数据流进行聚类处理时存在处理响应时间差较大、实时性不能得到保证的缺陷。针对该问题,本文在D-Stream算法基础上设计了基于降维处理和加权平均密度的数据流聚类算法(Principal components Weighted average density D-Stream,PWD-Stream)。将其算法部署到Flink处理框架中进行验证,并与D-Stream和NDD-Stream算法对比,实验结果表明:PWD-Stream算法在处理海量数据流上具有更好的聚类时效性和聚类精度,缩短系统任务计算时间。
其他文献
计算机视觉领域中存在诸多研究对象,目标跟踪由于其在社会生产中蕴藏的巨大价值而备受关注,在其演进过程中,涌现出许多优秀的跟踪算法,这些算法从不同角度提高了跟踪的精确度和成功率。但在实际应用中,由于跟踪背景及目标自身的不确定性,设计一种具有高鲁棒匹配性的目标跟踪算法仍具有很大挑战。针对目标在运动过程中存在的遮挡、形变、运动模糊和尺度变化等问题,本文将模板匹配技术引入到核相关滤波(Kernelized
海上运输因其具有天然航道,不受道路、轨道的限制,费用低、运量大,承担着全球90%的贸易量,是国际物流中最重要的运输方式。“海上丝绸之路”覆盖面积大、涉及范围广,对于沿线国家开展港口航运和经济贸易等重要领域的合作交流、提高我国对外开放水平、促进区域经济一体化等有着重要作用。集装箱的运输方式因其能有效克服传统运输的弊端,极大提高运输效率和运输质量,产生巨大的经济效益。在近几十年里迅速发展,成为越来越多
随着现代社会信息化与智能化的迅速发展,无人机及其相关技术也得到了更大范围的应用与研究,这也对无人机飞行控制系统的控制精度与安全性能提出了新的挑战。无人机飞行控制系统是一类多传感器控制系统,因此多传感器信息融合方法作为一种处理多源数据的有效手段,已经在无人机高度控制系统中已经得到广泛使用,其中Kalman滤波由于性能稳定以及计算简单是信息融合技术中最常用的方法之一,但传统Kalman滤波由于种种条件
“史诗奇幻”源于人类古老的神话传统,是人们对心中共同的民族神话和民族史诗的一种追寻,不论什么样的新型史诗奇幻小说,都有一个“坚强核心”:就是让其作品架构中在人类古老的神话传统和历史时空之上,以避免作者的“幻想”成为无本之木、无稽之谈,目的就是为了保持史诗奇幻小说的特性。而“史诗奇幻小说”中的“空间”,这个想象的共同体,已经成为承载和维护族群认同、延续文化传统的容器。本文力图阐释出此类小说的文
数据挖掘泛指与数据库中知识发现相关的一切分析方法和算法过程,旨在从数据集中自动识别和提取出隐藏于其中的关联规则、潜在规律或模式等多种形式的知识,进而引导各类实践活动中的决策、控制和行为.在“数据爆炸,知识贫乏”的大数据时代,如何从海量数据中提取出有价值的知识受到了前所未有的关注,数据挖掘这一研究领域蓬勃兴起,推动了数学、计算机科学和人工智能等学科的交叉渗透.关联规则挖掘是数据挖掘中最关键的技术之一
热敏电阻是一类电阻率随温度上升而呈指数性下降的材料,因其具有这种特殊的电学性能使得该材料可以应用到各种温度测控领域。此外,其还有红外吸收、温度补偿和抑制浪涌电流等功能。本论文采用电子束蒸发法制备金属多层膜,通过热退火形成锰基尖晶石结构热敏薄膜材料。探究了薄膜制备过程中的工艺参数及退火温度。然后,研究了镁掺杂对Mn-Zn-Ni-O热敏薄膜的结构、形貌、光学、电学和老化特性方面的影响。本文主要研究内容
目前,各国医疗机构都选择将患者的病历信息生成电子记录进行保存,既有利于对患者数据的统一管理,也方便医生的追踪式治疗。但现有医疗系统都是采用中心化的存储方式,一方面医疗机构之间很难进行共享数据操作,不方便患者在跨区域就诊;另一方面黑客通过技术手段对中心化的管理机构进行攻击,就能轻易窃取数据库数据,无法保证患者病历的隐私性。因此研究如何在保证患者个人隐私不被泄露的情况下,实现电子病历安全高效的存储和共
智能车间信息物理融合系统(Cyber-Physical System,CPS)是智能制造领域的重要载体,是综合了感知、计算、控制于一体的多维复杂生产系统。车间CPS系统通过物理层的感知功能获取车间软、硬件资源的动静态信息,借助工业云平台强大的计算能力,结合相关应用模型对大量工业数据进行计算分析,将分析结果返回车间,通过控制模块发布相应动作指令,实现车间环境监控、产品工艺优化、产品质量检测等方面的自