基于图像的三维头像生成系统设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:oyfj2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自?五世纪照相机被发明以来,人们一直热衷于将喜爱的照片作为装饰品或馈赠品。随着科技的发展,照片的形式也在不断地改变:从最初的黑白相片,到彩色相片,再到近?几年流行的电子相框,照片的表现能力愈发强大,但始终停留在二维平面上。随着计算机视觉技术的发展,计算机3D建模技术以其更加直观的视觉体验和更加丰富的表达能力逐渐成为计算机视觉、计算机图形学领域的热门研究课题,因此“3D照相馆”也成为了一个比较热门的应用领域。尤其是随着3D打印技术变得廉价与流行起来,使得三维实体形式的照片成为可能。其中,三维头像重建具有很重要的研究意义和实际价值。但是,直接从二维图像重建得到三维头像是较为困难的,主要原因就是当前的头部数据集精度不高,因此无法精确地表现脸部区域的纹理和几何变化,而人脸区域是用来区别不同三维头像模型的重要标准。而与头部数据集不同的是,近年来,许多研究者提出了许多精度较高的人脸数据集。因此,本文首先使用基于图像的人脸重建算法重建得到对应的3D人脸模型,然后将3D人脸模型贴合到已有的3D头部模版中,生成最终的3D头像模型。本文完成的工作主要包含以下几个方面:(1)针对传统的多图像三维人脸重建算法无法充分利用不同视角图片之间的信息,以及优化步骤繁琐问题,本文提出了基于深度学习的多图像人脸重建算法。该方法通过可学习的融合模块从而让网络可以充分利用不同视角图像之间的信息,并且设计了感知损失等其他损失函数从而帮助网络更好地进行学习,得到一个鲁棒的重建网络。最终,本文设计的多图像重建算法,改进了传统多图像人脸重建算法在重建框架和优化方式上的缺陷,超过了已有的基于深度学习的多图像人脸重建算法,提高三维人脸模型的重建精度,也为后续的单图像重建算法的性能改进提供了依据。ii(2)针对现有单图像重建算法缺少多视角图像提供可靠的几何约束,因此会导致重建的歧义性问题,本文提出了一个新的单图像重建网络训练-测试框架。首先,本文选择的重建网络依旧是单图像重建网络。在训练阶段,和现有的单图像重建网络训练方式不同的是,本文将成对图像输入到单图像重建网络,通过多视角几何一致性和生成对抗模块,让单图像重建网络可以学习到不同视角图像之间的互补信息并消除不同视角图像重建带来的差异性问题。这种多视角图像的训练方式,可以有效提高单图像重建网络的学习效果,因此在测试阶段,虽然输入依旧是单张图像,但是可以重建得到精度较高的三维人脸模型。本章提出的单图像重建网络训练-测试框架,可以明显提高现有的基于深度学习的单图像重建算法的精度,使其重建精度逼近基于深度学习的多图像重建算法。(3)本文设计并实现了基于图像的3D头像生成系统。本文设计的生成系统包含多图像人脸重建,单图像人脸重建和3D头像生成模块。该系统可以接受用户输入的人脸图像,最终让用户不仅仅能获取到三维人脸模型,还可以获取到对应的三维头像模型,并应用到三维打印这个领域。本文最后设计的三维头像生成系统使得本文提出的基于图像的人脸重建算法被应用到实际,拓展了人脸重建的算法的应用前景。
其他文献
钛合金密度低,比强度高,耐腐蚀性好,是良好的耐热材料和低温材料。20世纪以来,我国航空航天事业发展与日俱进,与之相关的钛合金的研制和应用也获得了快速发展,钛加工零件大量地应用于交通、医疗、航空、航天、海洋、建筑等领域。然而,钛合金强度较高,在常温下变形困难,需要较大应力。而热成形中加热装置、耐热模具、高温下的润滑等问题难以解决。振动辅助成形是降低金属成形过程中流动应力、提高表面质量的有效方法,包括
回音壁模式(Whispering gallery mode,WGM)微腔具有Q值高和模式体积小的特点,使得其在传感具有很好的应用潜力。目前由于低阶模只能带来有限的光与物质作用,微腔还无法实现大尺寸(>1μm)微粒探测。然而,由于液芯微腔的高阶共振模式具备液芯能量占比更大、渗透深度更深、光与物质作用更强等优点,更适合作为光与物质相互作用的平台。为此,我们将研究此液芯微腔在微粒计数和传感等方面的应用。
Cu-Cr-Zr合金具有优良的导电、导热性,高的抗软化温度、耐磨等性能而被广泛应用于引线框架、结晶器内衬、电阻焊电极、航空航天等方面。目前,对于Cu-Cr-Zr合金的研究主要是通过合金化、热处理及变形相结合的方法来提高合金的电学及力学性能。本文通过显微组织分析(金相、SEM及EBSD)以及硬度和电导率测试等方法研究了固溶-时效、固溶-冷轧-时效以及固溶-时效-冷轧-退火工艺对高强高导Cu-Cr-Z
古气候的定量重建一直是全球气候研究中的重中之重,中国季风区中的多种地质记录为人们认识亚洲季风的演化及其影响区域的古气候做出了重要的贡献。中国季风区的石笋δ18O记录表明亚洲季风强度变化受北半球夏季日射的影响,呈现出典型的岁差周期(2.3万年)。然而,利用中国北方黄土沉积记录重建的夏季风强度变化在中更新世转换后始终呈现出10万年周期的信号。前者表明亚洲季风受低纬水汽循环的控制,而后者则表明亚洲季风受
无线电能传输技术具有无需布线、无接触和可靠性高等优点,可以为无线可充电传感器网络中的传感器节点提供持续的能量供给,保障了传感器节点的正常工作,延长了整个网络的生存周期,使得节点有望彻底摆脱对电池的依赖,受到了来自学术界和工业界的广泛关注。经过近几年的快速发展,无线可充电传感器网络已广泛应用于数据中心监测、智能电网、智能家居和环境监测等诸多领域。无线可充电传感器网络充电效用优化问题主要关注如何通过部
图像中目标分辨率的缺乏对传统目标识别算法的性能造成了严重的影响,特别是在远距离的广角监控视频、无人机远程、航空影像等场景下。超分辨率技术作为计算机视觉领域的核心技术之一,已经成为解决此类小目标识别问题的一种流行又极具挑战性的方案。但在传统的超分辨率动机和小目标识别所需要的动机之间存在着本质的区别。前者旨在提高目标的视觉清晰度,而后者则是通过增强特定特征来提高分类器的识别精度。近期的工作在超分辨率的
逆向设计是近年发展起来的一种基于不同算法实现高密度、高性能集成硅基器件的方法。对于片上光互连领域,逆向设计能有效降低集成硅基器件的尺寸,同时保持硅基器件高水平的性能,用于硅基器件的逆向设计算法一直在朝着高效的方向发展。最近,将多种算法融合以实现高效率的逆向设计成为了热门的研究方向,通过发挥出不同算法的优势可以最大程度提升逆向设计的效率。本论文中采用了两种新型的高效率逆向设计算法:第一种算法将伴随法
随着新型Ga N功率器件的应用,开关电源在高频化和高功率密度化方面取得了突破性的发展,将Ga N功率器件作为电源变换器软开关的开关管,开关电源整体功率密度将大幅提高。本文以高频和高功率密度为目标,结合Ga N功率器件的应用,针对AC/DC变换器进行研究。为满足对电能质量的要求,本文AC/DC变换器采用两级式结构设计,前级为PFC电路完成功率因数校正,后级为DC/DC变换器,应用软开关和同步整流技术
点云数据配准任务的目的是对两帧点云数据做空间点级的匹配工作,在无人驾驶、家用机器人、无人机的飞行、地理信息系统的研发等领域有着良好的应用前景。随着深度神经网络广泛应用于点云数据的分类,分割等工作,并取得了很不错的成果,点云的配准工作也引入了深度学习方法,并取得了明显的进步。在此背景下,本文运用卷积神经网络对点云的配准任务进行了深入研究。对于两帧高度重叠的点云配准,传统的方法通过自定义的方法来寻找最
统计表明,一款新药从设计到上市的研发周期平均需要十三年的时间和多达几十亿美元的研发成本。其中,生成类药性分子候选库是药物合成的关键步骤。通过有效的算法快速得到准确的类药性分子候选库是加速新药研发的重要手段,因此尝试使用深度学习方法生成分子候选库具有实际价值。基于深度学习的类药性分子生成模型优化研究中,提出了一个基于改进型变分自编码器的分子生成模型。首先,在变分自编码器架构中使用Dilated CN