基于机器学习的虚拟视点绘制研究

来源 :宁波大学 | 被引量 : 0次 | 上传用户:rewyuh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们生活水平的日益提高和多媒体视频技术的快速发展,传统平面视频已经无法满足用户对立体视觉效果的需求,自由视点视频系统(FVV,Free Viewpoint Video)便应运而生。FVV系统包含视频内容的采集、编码、传输、解码、绘制和显示等步骤,可以让用户自由选择观看任意视点上的内容。但是,若系统对场景下的所有视点内容进行采集和传输,则会带来数据量过于庞大的问题。因此FVV系统采用基于深度图的绘制方法(DIBR,Depth Image Based Rendering)来解决多视点观看需求所带来的大数据量问题。该方法仅需要在编码端采集若干个有限视点的内容就可以在解码端绘制出任意位置的虚拟视点,极大地节省了网络传输的带宽。由于限于深度图的质量和DIBR技术等原因,在绘制图像中会不可避免的出现空洞问题。如果空洞被错误填补,则绘制的虚拟视点图像中将出现伪影和物体形变等多种失真,进而严重影响用户的主观视觉感知。近年来,机器学习技术在图像去噪、识别和修复等领域中取得了优异的效果。因此,针对FVV系统中DIBR技术所存在的绘制空洞问题,本文使用机器学习的方法对虚拟视点绘制中的空洞进行填补,提高虚拟视点绘制的质量。(1)针对传统算法对虚拟视点空洞填补后依然存在视觉感知较差的问题,本文提出了一种基于卷积神经网络的虚拟视点空洞填补算法。该算法包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处理,即利用DIBR技术得到空洞填补前的图像和空洞掩膜;然后,通过卷积神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络;最后,利用提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能在较好保留虚拟视点图像中前景和背景的锐利边缘的同时,有效地填补了空洞区域。无论是主观视觉感知还是客观质量评价方面,本文算法均取得了令人满意的结果。(2)为进一步提高虚拟视点绘制的质量,本文提出了基于边缘学习的虚拟视点空洞填补算法。考虑到现有绘制序列的场景及数量有限,构造一个具有边缘空洞的自然图像数据集。首先,下载五万张自然图像并提取符合虚拟视点绘制空洞出现规律的边缘掩膜。然后,将不同尺寸的边缘掩膜添加到原始自然图像中得到不同尺寸空洞的构造数据集。本文利用提出的空洞填补网络在构造数据集上进行训练,并将构造数据集和绘制场景数据集导入训练模型进行测试。主观实验结果表明,在大尺寸空洞构造数据集上所训练得到的网络模型对上述两类图像均具有较好的空洞填补效果。同时,也验证了构造数据集的合理性和提出网络模型的有效性。为准确学习到虚拟视点图像空洞填补的规律,利用空洞填补网络在含有构造数据集和绘制场景数据集组合的数据集分别进行训练,最后对虚拟视点空洞图像进行测试。实验结果表明提出算法能够有效地填补虚拟视点图像的空洞,提高了绘制图像的视觉感知质量。
其他文献
自二十世纪八十年代我国首张信用卡正式踏上历史舞台以来,由于具有先消费后还款、金融信贷等基础功能,它的存在已遍布人们生活的方方面面。随着改革开放后我国经济迅猛发展,人们的消费理念有了巨大的转变,提前消费在年轻人中已十分普遍,正是这些转变为我国信用卡业务的快速发展创造了良好的市场条件。随着传统存贷款业务利润空间的不断压缩,各大银行纷纷通过中间业务寻找新的利润增长空间,而作为中间业务收入的重要组成部分,
伴随着全球经济的发展,油墨制造业产量不断上升,竞争也日趋激烈。我国油墨工业起步较晚,与欧美发达国家油墨产业的规模相比,差距较大,在成本管控等各方面也存在着不小的距离。对于以中小型企业为主的油墨制造企业而言,企业现代化管理水平相对低,企业信息化程度不高,企业成本核算管理工作处于传统成本控制阶段。面对激烈的市场竞争,企业必须进一步加强成本管控,改善只注重事后控制,忽略事前、事中控制。要进一步借助信息化
体质健康问题作为社会的热点话题,引起了广泛的重视。从2005年至2018年全国学生体质健康数据测试结果来看,现代病的出现严重影响了小学生的健康,特别是肥胖病的发病率高的令人惊叹。与体重正常儿童相比,肥胖小学生在身体形态发育、身体素质等方面都呈现出不同程度的降低,而运动干预作为一种积极有效的手段可以帮助肥胖学生控制体重,发展身体素质,那么网络运动App的出现作为一种新的指导人锻炼的方式,提供了科学高
我国是一个农业大国,新型农业发展不仅关系到广大农民的根本利益,也直接影响着整个中国的发展战略。随着社会经济发展以及物质文化水平的提高,利用周末及小长假进行短途旅游已经成为人们生活常态。发展乡村旅游不仅促进肇庆地方经济发展,更带动运输、住宿、餐饮、工商业等一系列相关产业发展,同时在加快城乡人文交流、拓宽农民收入渠道、促进农村劳动力本地就业、宣传高新农业知识、协调城乡均衡发展等方面发挥着重要作用。论文
技术保护措施已经越来越多地被用于数字网络环境下版权作品的保护,通过立法保护技术保护措施已经逐渐成文共识。某一知识产权制度的设计应兼有知识产权所有者利益与公共利益的考量。然而,现有版权技术措施的立法侧重于站在维护版权人利益的角度,缺少对使用者利益的考量,版权技术措施有可能会造成版权的扩张,另一方面也压缩了公众使用空间。反规避技术措施立法缩小了公众基于版权法中合理使用原则应享有的利益,进而增加了社会文
《义务教育美术课程标准(2011年版)》指出:“美术课程资源的开发有利于丰富美术教学的内容,提高美术教学的效益,突出地方美术教育的特色。”目前国内不少地方已经进行美术课程资源的开发与应用。台儿庄地区有着极其丰富的地方文化资源,但是地方文化资源的优势并没有在台儿庄美术课程体系中得到相应的体现。因此,本研究以台儿庄地方文化资源在初中美术校本课程中的应用研究为主题,对台儿庄地方文化资源在初中美术校本课程
伴随着食品安全事故的多发,近几年来,在理论界对食品安全责任保险的讨论更为深入,理论的发展能够在一定水平上推动法律法规的完善,一项法律法规的健全会促进实践的发展。一次食品安全事故产生后,我们要注意到的不仅是这次事故自身导致的危害,更要意识到的是,在事故发生后的救济措施。食品侵权事件,有别于一般的财产类侵权,食品安全问题会直接危害人的健康,造成食源性疾病等难以有效救治的后遗症等问题。在食品安全事故发生
伴随着互联网大数据时代的到来,餐饮O2O模式由于其运营方式的便捷,在近几年来也得到了人们的认知。其中发展最庞大、受众范围最广的网络餐饮模式也就是我们俗称的外卖,深受人民群众的喜爱。据数据统计,我国预计在2020年外卖的受众群体会突破5亿。即使在2020年疫情爆发的特殊时期,我国外卖产业的复工率从2月份起就已经高达了 60%。由此可见,外卖行业无论是从社会发展的角度上、还是从与社会生活的关联度来看,
随着国际化进程的日益白热化,使国内和国际的市场竞争也愈演愈烈。人才是企业的血脉和筋骨,是企业能够立于不败之地的关键因素。企业要想在纷繁复杂的环境下生存下去,就必须在人才战中取得胜利。因此,人力资源管理也成为企业发展壮大过程中必不可少的一个环节,而企业的项目经理招聘与配置主要是一个循序渐进的过程,包括组织发现项目发展需求、进行招聘决策、针对项目要求具备的胜任力进行有效分析、开展招聘工作、对应聘者甄选
自2010年《企业内部控制审计指引》出台以来,越来越多的上市公司开始根据政策要求聘请会计师事务所进行内部控制审计,并在年报中披露内部控制审计费用,但也有一部分公司仅披露了支付给会计师事务所的总报酬,而并未分开列示内部控制审计和财务报告审计的费用。以往关于财务报表审计费用的研究表明,审计费用的披露有助于提高审计独立性,而审计费用与审计质量间的关系并不明确。基于此背景,本文将审计收费的研究延伸至内部控