BPA-GAN:人体部位可感知的姿态迁移生成对抗网络

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:bridge
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态迁移是指使目标图像中的人做出源图像中一个人相同的动作,并合成目标人物在该姿态下的图像,在动画生成、游戏设计、图像数据合成等方面具有广阔的应用前景。由于没有新姿态下的纹理,传统的方法很难得到合理的结果。深度学习方法能较好地解决这个问题,但还是需要获取尽可能多的各个姿态和角度下的目标人体图像,即便如此,所合成的结果还是难以捕获目标人体的细节特征。本文提出部位可感知的人体姿态迁移方法,简称为BPA-GAN(Body-Part-Aware Generative Adversarial Networks)。BPA-GAN由两个模块组成:一是人体部位生成模块,负责生成人体各部位的纹理;二是融合模块,负责将生成的人体各部位纹理与背景组装成完整的新姿态图像。网络以人体部位姿态图作为输入。所以在预处理阶段,我们的方法首先利用人体参数化模型SMPL-X拟合出三维人体,然后将人体渲染到图像上,将图像中的人物分割为16个人体部位,并对各部位进行重布局,得到头部以及身体姿态图。本文的创新点有:(1)采用部位标签化的人体参数化模型渲染图作为姿态图。相较于二维骨架,三维人体模型在体型上更贴合人体,易于处理自遮挡情况,同时能将体型和姿态解耦,方便姿态与体型对齐。部位标签化增加了姿态图的语义信息,也方便后续的人体分割操作;(2)加入了帧间约束,改进了从视频中拟合的人体参数化模型序列的平滑性;(3)将人体与背景分离,并将人体按部位分割和重布局。最大程度上保持了原数据的信息。同时能将背景与不同部位分别生成,也便于在训练时对不同身体部位采用不同的数据增广操作,增加数据多样性;(4)针对两阶段任务,提出了人体部位可感知的姿态迁移生成对抗网络:BPA-GAN,其包含多个模块、多个生成器判别器,整个网络框架中每一模块的目标更加简单和精细,且加入了对不同人体部位的额外监督,进一步提升结果。迁移结果的定性与定量评估表明,相比已有的方法,本文方法用较少的训练数据(约400张图像)就能生成高质量的姿态迁移结果,在目标人物个人体征的保持、细节区域的生成均展现出一定优势。
其他文献
随着城市灾害日趋多样化、复杂化,社区作为城市灾害冲击的基本受体,面向城市社区的应急管理及韧性建设逐步成为城市防灾减灾的关键性工作。我国在城市社区应急管理及韧性建设方面存在评价体系过于宏观、测度方法受主观影响大、系统间相互作用关系不明晰等问题。因此本文引入机器学习算法针对城市社区应急管理及韧性建设进行定量测度,主要内容包括:(1)通过对国内外现有研究的梳理、总结与分析,确立本研究主要目标为城市社区应
近年来,LDPC码已被多个工业标准采用,如无线局域网(IEEE 802.11n)和移动宽带无线接入系统(IEEE 802.16e)等,并作为5G标准中提高信息交换可靠性的关键成分。随着近几年深度学习技术的快速发展和现代通信网络复杂度的迅速增加而导致传统方法开始显现出其局限性,有大量科研人员在通信系统中采用深度学习方法并取得了许多相关的成果。但是现有的大多数结合深度学习的研究是以中短码长的LDPC码
随着生活水平提高,人们越发注重调味品的安全性和营养性,因此利用天然蛋白资源制备呈味基料是目前调味品的大热趋势。大豆分离蛋白因营养价值高、风味独特且来源广泛,已成为制备高档呈味基料的优质蛋白原料。相较于酸水解法和碱水解法,生物酶解由于反应温和、营养损失少、安全性高已成为制备呈味基料的常用方法。在蛋白质酶解过程中,越来越多的小分子肽和氨基酸被释放,由于其亲疏水性的不同使得酶解体系中可能会产生聚集物,这
千克组砝码定期检定是量值准确传递与溯源重要保障,相关检定单位主要依靠人工搬运千克组砝码检定,测量精度差、检定效率低、劳动强度大。为此,本文以“堆叠千克组砝码智能化检定关键技术研究”为题,设计千克组砝码智能化检定关键技术总体框架,研究堆叠千克组砝码的深度学习识别与分割技术、千克组砝码RGBD多模态传感定位技术、堆叠千克组砝码检定顺序规划调度技术,研制堆叠千克组砝码智能化检定集成系统,开展相关技术、集
傩面是萍乡傩文化的瑰宝,那形态各异、栩栩如生的样貌,让人印象深刻。在萍乡,要谈到傩面雕刻大师,不得不提彭国龙。彭国龙是中国傩文化传承保护基地首批傩面雕刻传承人、省级非物质文化遗产项目萍乡湘东傩面雕刻代表性传承人,至今已在傩面雕刻领域研磨近40年,不仅能写诗作画,还精于木工雕刻。其中,又以傩面具雕刻最为拿手,行内尊他为"湘东傩雕第一人"。
期刊
量子群及其表示理论是二十世纪八十年代新起的一个数学分支.它有着丰富的物理背景,同时与其他数学分支有着紧密的联系,如李代数,表示论,数论和可积系统等.本学位论文主要考虑的是量子一般线性超群GLq(m|n)的连通性(Connectedness).在经典理论中,仿射代数群的连通性是由它的Zariski拓扑决定的,而Zariski拓扑可以完全通过它的坐标环来描述。然而,根据Takeuchi及其合作者的工作
近些年来,随着科技、技术的快速发展,特别是电商的蓬勃发展使得商品的零售模式也发生了改变。在新零售模式下,商品的生产、流通和销售都可以依托大数据和新技术来进行改造升级。无人售货机便是一个极佳的实践对象,早期的无人售货机售卖商品的方式主要是用户先通过售货机柜外的显示屏或按钮选择商品,付费后通过传送装置将商品送到指定的区域自取,这种方式因稳定性好、安全性高而被广泛使用,缺点是成本太高;随着深度学习技术的
随着互联网的飞速发展,终端业务对于通信带宽和传输速率的需求呈爆炸式增长,这使得接入网、数据中心(Data Centers,DC)等短距离通信系统对通信传输质量的要求不断提高。强度调制/直接检测(Intensity Modulation and Direct Detection,IM/DD)技术因为低功耗低成本的优势被广泛应用于短距离光通信系统当中。因为正交频分复用(Orthogonal Frequ
聚羧酸系减水剂具有掺量低、减水率高、保坍性好等特点,能够在建筑工程中显著改善混凝土的工作性能。但因为与其他外加剂存在相容性问题,在生产应用常遇到泌水离析等问题,而且随着高性能混凝土的出现,聚羧酸系减水剂也迫切需要在功能性上获得进一步提升,因此,研究新型聚羧酸系减水剂对建筑混凝土领域具有重大意义。木质素作为第一代减水剂,有着良好的生物相容性和保水性能,常被用作复配产品应用于混凝土外加剂领域。为了解决
行人重识别属于检索任务的子任务,该领域研究如何在来自不同角度的图片中识别出指定行人,可用于追踪嫌疑人、寻找失踪人口等实际应用中。随着这些实际应用的需求不断扩大,该领域受到了越来越多的关注。与此同时,自深度学习和三元组损失被引入到行人重识别领域之后,基于三元组损失的深度学习算法已经成为该领域的首选算法。深度学习拥有强大的特征提取能力,而三元组损失则提供了高效的抽样策略,二者为提高行人重识别算法的表现