基于PowerGraph的并行Tucker分解及应用

来源 :河北师范大学 | 被引量 : 0次 | 上传用户:alfred0612
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
张量分解是一种经典而基础的数据分析方法,被应用于各个热门的研究领域,业界积累了丰富的研究理论和经验。随着信息时代的不断发展,由于数据规模的急剧增加,传统的单机环境下的张量分解算法已经无法适应大数据时代的要求。因此,对张量分解的并行化研究有其非常重要的现实意义。张量分解的两种主要的分解方式是CP分解和Tucker分解,两者应用都很广泛,各有侧重,并且CP分解从某种角度可以视为Tucker分解的一种特殊形式。针对Tucker分解算法的并行化研究很多,但各有优势,不一而足。目前,许多现实的数据集表现出网状式图结构特征,业内对于图结构数据的研究愈演愈烈。由于图结构数据和张量数据可以相互转换,两者之间存在密切的联系,所以许多研究人员考虑将张量和张量分解引入到图结构数据的研究领域中,旨在挖掘图结构数据的潜在知识。通过分析多种并行计算框架,本文采用并行图处理框架PowerGraph作为实验的物理环境,同时基于PowerGraph框架对Tucker分解及其应用做了些许尝试,主要工作分为以下几个部分:1.设计并实现了截断SVD(TRSVD)的并行算法。矩阵的奇异值分解(SVD)在机器学习、数据挖掘等领域有着很重要的研究价值和实际意义,并且经常作为交替最小二乘法(ALS)的更新方法。而TRSVD是SVD的一种改进策略。本文通过分析TRSVD的基本原理,采用行向量的拆分方式将TRSVD算法的核心步骤进行拆分,并设计与之相适应的图数据结构,从而在PowerGraph框架上实现TRSVD算法的并行化。经实验结果验证,并行后的TRSVD算法可以处理更大规模的矩阵,且计算时间较小。同时将其应用到后续的Tucker分解算法的并行化中,提高了整体算法的计算效率。2.设计并实现了Tucker分解的并行算法。通过仔细分析Tucker分解算法的基本原理以及算法的可行性,采用TRSVD的并行算法的拆分方式,重新设计了与之相适应的图数据结构,在PowerGraph框架上实现Tucker分解算法的并行化,并从不同角度对该算法进行了多次的对比实验和分析。经实验结果验证,并行后的Tucker分解算法可以处理更大规模的张量,且计算效率较高。3.设计并实现了基于Tucker分解的两个应用算法。第一,引用RESCAL分解模型和隐因子矩阵等概念,并将Tucker分解并行算法应用到多关系网络数据,在PowerGraph框架上实现了多关系网络的社团发现算法;第二,将彩色图片表示成张量形式,并将Tucker分解并行算法应用到彩色图片数据,在PowerGraph框架上实现了彩色图片的数据压缩算法。通过上述两个应用实验验证了Tucker分解并行算法的正确性和实际意义。
其他文献
随着网络技术的进步和互联网的普及,信息交流不再局限于传统面对面的方式,网络论坛作为一种虚拟的知识交流平台逐渐改变着人们的交流方式和交流习惯。学术论坛作为虚拟学术社区中的一种,是进行知识交流、知识共享和知识转移的重要渠道,较之传统知识转移在知识创新和发展上有其独特的优势。知识转移作为一种社会活动,是实现知识创新的基础,个体作为知识转移的基本单元,研究个体间的知识转移有利于更好的进行团队、组织层面上的
<正> 血海空虚经行腹痛调肝补肾充其源肝为藏血之脏,肾为储精之器,肝肾同居下焦,有精血同源、母子相生之训。肝经循行与冲任相连,冲主血海,任主胞胎。肝血不足,肾精空虚,精血
期刊
为了构建自主可控、安全可信的互联网环境,我们提出了一种安全可信的网络互联协议(STi P)模型。本文详细介绍了STi P模型的层次结构,然后定义了基于STi P模型的报文头格式。此外,设计了终端主机接入协议和映射解析协议,用于终端主机接入的注册,以及在终端主机通信过程中映射信息的更新、查询和响应。
VR技术给三维动画带来了新的表现形式和更为深层次的艺术体验,为三维动画的发展提供了崭新的创作方式并赋予全新的视觉体验。本文着重探讨VR三维动画的创作的方式,通过毕业设
为了研究烟梗中化学物质在造纸法再造烟叶萃取阶段的变化规律,考察了多酚和有机酸经不同方式萃取后,它们在烟梗中含量的变化规律。结果显示,随着连续三次萃取,烟梗中多酚含量
随着教育的改革发展,对教师专业发展的要求也越来越高,因此如何促进民办高中教师的专业发展对我国教育事业的发展有着重要意义。本研究主要采用调查问卷和访谈的方法,以深圳
密钥隔离方案能够在一定程度上解决基于身份的密码系统中密钥分发中心权限过于集中的问题。基于支持多外围设备的身份密钥隔离签名方案和Hess签名方案,提出了一种新的基于身份密钥隔离数字签名方案;进一步针对密钥隔离、强密钥隔离和密钥更新的安全性进行了分析;最后,通过与支持多外围设备的身份密钥隔离签名方案和Hess签名方案进行效率分析与比较,该方案验算次数少、签名长度短、速度快,更适用于资源受限的智能手机中
2014年并购管理办法的颁布为新三板挂牌公司进行并购活动提供了沃土,中小企业创新创业的浪潮在我国掀起,在这样一个时代背景下,众多中小企业迎来了发展的“春天”。与此同时,新三板零资产并购行为渐渐出现在大众视野中,引起学者的关注。2017年,包括神码在线、齐顺科技和厦门安越在内的多家新三板挂牌公司发布公告称进行零资产并购。在新的历史环境下,由并购衍生出来的零资产并购为何会受新三板公司的青睐,公司零资产
文章介绍了利用微生物治理水体氮源污染的基本原理、主要工艺及其在处理氨氮工业废水的研究现状和最新研究进展。在此基础之上,针对新型的生物脱氮工艺(例如厌氧氨氧化工艺)特