光场图像重定向和图像增强算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:xzddlz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光场图像新视点生成是与光场图像重定向密切相关的科学问题。现有的新视点生成算法多针对光场内插,生成视点范围受限,且无法修改光场图像的基线(baseline),同时当进行视点外插时,产生的空洞问题仍没有一个合理的解决办法。“先拍照,后对焦”是光场图像的一大特点,光场图像重聚焦是光场图像增强算法中的热点问题。但传统重聚焦算法存在混叠现象,严重损害了重聚焦图像的视觉效果。据此,本文提出了一种光场图像基线编辑算法与一种光场图像新视点生成算法,并提出了一种光场图像重聚焦算法以解决混叠问题,主要内容包括:1)手持式光场相机拍摄的光场图像基线较短,为了提高基线,提出了一种光场图像基线编辑算法。首先对光场图像进行标定得到相机参数,并计算出光场子视点图像的视差图。然后利用DIBR算法对光场图像进行投影变换,完成初步的重定向处理。最后利用提出的深度神经网络对目标光场图像进行优化,主要包括空洞填充与纹理修复。实验结果表明,所提算法能够完成基线编辑的光场图像重定向任务,得到高质量的目标光场图像。2)传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦算法计算量太大,性能提升困难,为此,提出一种基于条件生成对抗网络的光场图像重聚焦算法。所提算法以光场图像为输入,首先计算视差图,再从视差图中计算出所需的弥散圆(circle of confusion,COC)图像。所提条件生成对抗网络根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。实验结果表明,所提算法解决了混叠问题,优化了散焦效果,并显著降低了计算成本。3)针对现有的光场数据集数量不足以及可完成视点外插和视点旋转的光场新视点算法不足的问题,提出了一个基于条件生成对抗网络与角度空间卷积的光场图像新视点生成算法。所提算法将光场宏像素图像引入了新视点生成问题,将网络的生成器分为四部分,空间角度特征提取模块、位姿信息输入模块、融合特征的瓶颈模块以及光场重构模块。其中,我们创新性的利用角度特征计算深度,并提出了宏像素卷积注意力模块用于重构整个光场。实验结果表明,所提算法能够胜任视点外插与旋转任务,得到拥有较好视觉效果的新视点图像。
其他文献
视频多目标跟踪主要利用视频上下文信息,对多个目标的外观信息和运动信息建模,实现对目标运动状态的预测和更新,并标记出目标轨迹。视频多目标跟踪涉及了深度学习、机器学习、最优化算法等多个方面的理论知识。随着计算机硬件和数学理论的发展,各种视频多目标跟踪系统纷纷实现,尤其广泛应用于行为识别、交通监控、智能驾驶、人机交互和无人机监控等,在视频目标跟踪领域的深度和广度上有着不同程度的应用。本文围绕随机有限集在
针对目前自然场景图像中的文本检测存在的问题,本文对自然场景图像中的文本检测方法进行研究。本文设计了基于卷积神经网络的端到端的文本检测框架,实现提高文本检测精度、降低检测模型复杂度的目的。本文的主要研究内容如下:1.基于自适应特征选择和尺度损失函数的文本检测方法。日常生活中的文本非常多样化,并且存在许多杂乱的背景,为了解决这些问题,本文提出了一种自适应特征选择的神经网络。这个网络由两个部分组成,第一
近年来伴随各类社交与电子商务平台迅速发展,网络上用户生成内容出现爆炸式的增长。用户在社交平台与电商平台发表的评论中,包含了大量的文本信息,往往从多个方面反映了其对某些事件或者商品的情感倾向。分析这些包含情感极性的信息,能够有效帮助商家改进产品和改善服务,供政府相关部门了解舆论情况,以制定相应政策,同时也能让其他用户了解事件的社会评价。文档级情感分析方法能够获取整个文本的情感极性,但难以感知文本中不
自上个世纪六十年代,人脸识别初次在数字图像处理领域中崭露头角,已走过长达半个世纪的发展之路,识别研究也从单一的仿真环境到适应多种多样的复杂环境、也从简单且光照充足无变化的正脸图像到多种表情变化,大年龄跨度以及多重遮挡的人脸。虽然发展至今,在特定的约束环境下,现有诸多人脸识别算法可以取得优秀的识别效果,但若应用至实际生活中,剥离设定好的特定环境,面对现实生活中的低分辨率人脸往往识别性能不够理想。本文
21世纪以来,随着人民生活水平的提高,人民对于衣物的需求量越来越大,也促使织物的产量变得越来越大。为了满足这种现状,织物的生产过程逐渐智能化,其中,一个关键环节就是对织物缺陷进行检测。现在国内大部分企业选择传统的人眼检测法,但是这种方式易受检测人员的主观影响,同时也极其考验检测人员的体力与眼力,因而造成了检测效率及精度低下的后果。为了解决上述问题,越来越多的学者将机器视觉技术应用在缺陷检测领域,且
近年来,车外抛物问题越来越受到社会各界的关注。车外抛物这种不文明现象给交警部门以及市政部门及时清扫带来巨大挑战。如何有效地解决车外抛物问题已成为交警和市政部门亟待解决的问题。尽管深度学习的研究已经取得了很大的成就,并已广泛应用于各种场景(如:车牌识别和交通流量预测),但仍有许多问题尚未完全解决。例如,如何及时有效地检测出交通领域内车外抛物的问题仍然是一个亟待解决的问题。一般来说,传统的方法(如:支
互联网上产生大量的非结构化文本数据,如何有效的从这些非结构化的文本数据中挖掘并抽取实体和关系信息就要涉及到实体关系抽取研究;这对知识图谱和自动问答等下游应用的构建具有较强的理论意义和实用价值。本文主要以Transformer特征提取模型为基础,通过对现有实体关系抽取模型的改进,提高实体关系抽取的性能。主要研究内容如下:(1)针对Transformer模型在实体关系抽取任务中性能不佳的问题,本文抛弃
行人检测是计算机视觉领域的重点研究课题,在智能交通和自动驾驶领域有着广泛的应用。近年来,基于多光谱图像的行人检测方法由于结合了可见光图像和红外图像的信息,在全时段的检测环境中具有明显优势,已成为当前的研究热点。但由于交通道路场景的复杂多变,多光谱行人检测算法仍会受到光照和温度等环境条件变化的影响,要满足自动驾驶实际应用的准确率需求仍存在一定困难。本文针对多光谱行人特征的表达方式和融合方法进行研究,
车联网(Internet of Vehicles,Io V)使得车辆间能够通过无线通信交换感知到的道路状况以及车辆运动状态等信息,并根据接收到的信息及时做出反应来减少交通事故、缓解交通拥堵以及节省能耗。然而,由于车辆在复杂多变的环境中高速运动,车辆运动状态时常发生变化,网络拓扑变化频繁,导致网络时延、数据传递率等通信性能实时变化。一旦车联网通信性能无法满足基本的通信需求,车辆无法及时地收到安全信息
图像语义分割作为基础的计算机视觉处理任务,其本质上是利用对像素点的分类把图像划分为若干个不同且有意义的区域。从宏观上来看,语义分割是场景理解的必要步骤,是将图像由具体变为抽象的过程。随着计算机视觉的发展,语义分割在自动驾驶、医疗诊断、遥感图像分析等领域中具有非常重要的应用价值。近年来,基于全卷积神经网络的语义分割方法作为一个较新的研究方向受到了广泛的关注。在无数研究人员的共同努力下,基于深度学习的