【摘 要】
:
近年来,随着硬件技术的迅速发展和网络数据量的爆发式增长,复杂网络的规模也在迅速扩大。由此,在过去的十多年中许多高效的处理和分析大规模图数据的方案被提出。在大规模数据的处理中,不可避免的会出现分布式处理。在图数据的分布式并行计算中,数据的划分作为分布式计算的前提,其划分结果的优劣直接影响着分布式图计算的时间性能和集群设备的任务吞吐量。图划分问题是一个NP难题,当下随着网络规模的与日俱增,部分传统的图
论文部分内容阅读
近年来,随着硬件技术的迅速发展和网络数据量的爆发式增长,复杂网络的规模也在迅速扩大。由此,在过去的十多年中许多高效的处理和分析大规模图数据的方案被提出。在大规模数据的处理中,不可避免的会出现分布式处理。在图数据的分布式并行计算中,数据的划分作为分布式计算的前提,其划分结果的优劣直接影响着分布式图计算的时间性能和集群设备的任务吞吐量。图划分问题是一个NP难题,当下随着网络规模的与日俱增,部分传统的图划分算法由于频繁的全局操作,如谱分析,递归式矩阵运算等等,其过大的时空开销使其难以胜任大图的划分,面对这些大规模的图它们不再轻量,最终的划分质量也不佳。高效的大图划分算法会综合考虑分区容量的均衡性和网络同步开销,目前现有的一些针对大图的分布式划分算法多基于Hash,但忽略了图的内在结构,导致过大的割边复制率或者割点复制率,从而使得计算的过程中,网络同步的开销过高。因此,如何在有效地时间内划分图数据,并且保证较低的边界数据复制率,对于分布式图处理而言有重要的研究意义。基于上述问题,本文面向大部分具有幂律性的图数据,在按边划分的模式下,提出了一种离线场景中按边的优先级处理的启发式划分法(Edges Priority-Based Heuristic Partition,简称EPH),EPH参考了幂律图中的度分布,遵循尽可能对度大的顶点进行切割的原则。在初始,按照顶点度和局部中心度的综合排名对全图的边进行搜集,构建一个优先级从高到低的处理序列,然后依次输入分区器,以启发式决策出当前最优的分区。随着分区过程的不断进行,各分区容量的标准差逐渐稳定,序列中靠后的边往往是度较高的顶点领边或者局部中心度较大的顶点邻边,在分配时更容易较均匀的切分到各个分区。实际测评中,在数据上笔者选择了多组真实世界的网络图和模拟图,在方法对比上选择了当前几个常见的大图分区器。笔者将EPH划分结果应用于Graph X图处理引擎,测试结果表明,在相同数据相同分区不同划分方法下,EPH的割点复制率有较大的减小,在常规的分布式图算法执行效率上有较大的提升,EPH的分区容量的平衡性和稳定性也更好。另外在此基础上,笔者将EPH扩展为可并行的多阶段启发式划分方法(Par-EPH),旨在提升EPH的划分速度,是一种以牺牲划分质量换取划分速度的方法。Par-EPH将EPH拆分为串行初始阶段和并行迭代阶段,在串行阶段仍然按照EPH的模式进行各个分区的初始化,当达到一个稳定状态时即可开始并行迭代。在每个超步中,每个处理单元本地仍按照EPH模式划分,超步结束时同步全局划分信息,其中总的超步次数可以人为设置,当设置较大的迭代次数时,能获得更频繁的全局划分同步,从而使得划分质量更接近EPH法,当超步次数过大时,会退化为EPH法。通过实验测试,Par-EPH的划分质量略低于EPH,是一种较好的轻量级并行划分法,且具有较高的实用性。
其他文献
幽门螺杆菌(Helicobacter pylori,Hp)感染难以治疗的原因包括:细菌耐药性、胃酸阻碍、胃粘液和生物被膜屏障等。常规抗生素在胃酸环境中会被强酸和酶破坏,导致药物活性降低甚至完全失活;且由于胃排空机制,导致药物在胃中的停留时间非常短暂。同时,粘液层的快速清除机制阻止药物或药物递送制剂到达上皮表面,并且粘液层还能通过对物质的空间位阻和相互作用力阻碍物质通过。抗生素在胃酸中停留时间短、胃
三维点云的日渐普及引发了学术界和工业界的广泛关注,但是随着实际应用中精度要求的提升,如何减轻传输或存储的负担成为了一大研究热点。因此,本文针对静态点云几何信息、静态点云属性信息和动态点云进行了深入研究,主要内容如下:针对非均匀点云几何压缩难以权衡压缩质量和压缩时间这一问题,提出了一种结合三角形组逼近和密度阈值的三维静态点云几何信息压缩方法。首先,使用八叉树重新组织点云数据;其次,在每一个非空体素内
本系统采用SIEMENS S7-200 SMRAT系列可编程控制器作为主要控制系统,采用总线控制方式,为智能润滑控制需求提供了最恰当的解决办法,可网络挂接与上位机HMI进行连接以实时监控,使得润滑状态一目了然;现场供油分配直接受可编程控制器的控制,供油量大小,供油循环时间的长短都由主控系统来完成;流量传感器实时检测每个润滑点的运行状态,如有故障及时报警,且能准确判断出故障点所在,便于操作工的维护与
为了促进骨缺损愈合能力,需要针对骨缺损处的特殊生理环境设计骨修复材料。采用非入侵式物理信号刺激协同生化信号是目前常见的一种促进骨修复的策略。其中,磁场刺激在组织再生与修复方面应用广泛。将磁响应性的纳米材料与水凝胶基体结合所制备的磁响应水凝胶能够响应外界磁场刺激,能够有效促进组织修复。其中,明胶水凝胶具有优异的细胞亲和性,能够模拟细胞外基质的三维结构,常用于组织缺损的替代材料。但明胶水凝胶力学强度弱
为缓解城市交通拥堵,有学者提出公交优先策略,该方法现已广泛应用于城市道路及交叉口。公交信号优先控制是交叉口实施公交优先的重要方法之一,其使公交车辆快速通过交叉口,节约乘客出行时间,有效提高公共交通吸引力,进一步优化城市客运交通结构。但目前多数控制方法会使社会车辆通行次序靠后,增加了社会车辆排队等待时间,且各流向车辆在该类型交叉口进口道处产生的冲突点较多,车辆的相互避让将导致交叉口延误进一步扩大。同
通过对湛江各公园与花店实地调查,爵床科观赏植物在湛江园林中的应用主要有6种:金脉爵床(Sanchezia nobilis Hook.f.)、硬枝老鸦嘴(Thunbergia erecta)、红花芦莉(Ruellia elegans)、翠芦莉(Aphelandra Ruellia)、网纹草(Fittonia verschaffeltii)、披散爵床(Juncus effuses)。其主要园林应用形式
城市信息模型(CIM)在智慧城市建设框架中发挥着越来越重要的作用。本文从CIM的定义和内涵出发,阐释了CIM与智慧城市的关系;以系列指导文件为建设依据,重点探讨了智慧城市建设中的CIM平台建设重点,并结合在中新天津生态城的CIM平台建设实践,从标准规范、三维底板中心、数据治理、可视化引擎、查询分析与模拟、运维管理等方面对CIM基础平台的架构和建设内容进行了总结。结合智慧城市“CIM+应用”建设,全