基于交叉视差注意力机制和多尺度残差密集网络的立体图像超分辨算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:kona
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体图像有着非常广泛的用途,如高分辨率3D电视、三维建模、智能导航、自动驾驶等,而且随着沉浸式技术(如VR、AR等)和游戏影音行业的发展,要求更精细、更高分辨率的立体图像内容,这也催生了立体图像超分辨技术的兴起。超分辨技术是从低分辨图像中盲重建出高分辨率的图像,是一个不适定性问题。近几年,单图像超分辨领域的研究者利用深度学习方法进行了充分的探索,并获得了优异的效果。立体图像超分辨技术是借鉴单图像超分辨的成功经验,并试图利用立体图像对间存在的天然视差从而产生的额外信息作为先验约束来进一步提升超分辨的性能。当前立体图像超分辨算法对视差的大小或方向有较高要求,无法处理一些不规则视差的立体图像对,而且立体图像对间固有的联系尚未得到完全利用。针对这些问题,本文利用深度学习技术对立体图像超分辨技术展开以下研究:(1)已有的立体图像超分辨模型只能沿着水平极线方向搜寻立体图像对间的立体对应点,因而无法很好地处理极线非水平的立体图像。针对此问题,本文提出了一个基于交叉视差注意力机制的立体图像超分辨模型,名为交叉视差注意力网络。该交叉视差注意力机制不同于现有一些视差注意力机制,它从全局上搜索立体对应点,而不仅限于水平方向,且无视差大小的限制。该模型采用预先上采样框架设计,因此可以在一个模型中同时进行多个比例因子的超分辨任务。充足的实验测试表明该模型的超分辨性能更优越,处理极线非水平的立体图像时能获得比其他先进方法更高的指标评分和更优的图像质量,噪声测试结果也表明所提出模型拥有更优的噪声处理能力,鲁棒性更强。(2)为了解决(1)中所提出的交叉视差注意力网络模型参数量过大、计算复杂度高、难以实际应用,以及交叉视差注意力模块未能从多个尺度上搜寻立体对应点,导致固有的额外信息未能被充分利用的问题,本文还提出了一个多尺度残差密集视差注意力网络。该网络基于后期上采样框架设计,通过堆叠多个所提出的多尺度残差密集模块来充分提取视图内特征,随后通过扩展后的多尺度交叉视差注意力模块对这些视图内特征进行立体对应搜寻、视图间额外信息交互,完成特征增强,使重建的超分辨图像细节更完整。消融实验和对比实验都表明该模型能获得与当前先进方法相当的性能,参数量比交叉视差注意力网络小一个数量级,且整体性能更优。
其他文献
小米糠具有丰富的营养成分和生物活性成分。多酚作为其中一种活性成分,发挥着重要作用,但是小米糠的成分性质不是很稳定,在一定条件下容易发生氧化变质。本文以超声波联合DESs提取小米糠多酚中的酚酸类物质和单宁类物质成分并对其进行包埋制备微胶囊。研究主要结果如下:合成了6种以氯化胆碱为氢受体的低共熔溶剂,通过单因素和响应面优化超声辅助DESs和乙醇提取小米糠总多酚的工艺,比较两种溶剂提取能力。结果表明:优
学位
计算机视觉的持续发展离不开各种计算机视觉任务算法性能的提升。显著性物体检测旨在模拟人眼的视觉选择性注意机制,能够捕获图像中最为显著或重要的物体和区域,排除图像中无关内容的干扰。因此,显著性物体检测能够有效用于提升包括图像和视频压缩、图像分割、图像识别、图像合成和图像检索等计算机视觉任务的模型性能。为了能够有效辅助这些计算机视觉任务,显著性物体检测模型需要具备极强的泛化能力,并且能够同时提取准确细致
学位
社会治安与每个公民的实际生活息息相关,良好的社会治安是每个公民的诉求。为了维护社会治安,各种公共场所布置了大量的摄像头用以收集数据。然而,人工分析处理如此海量的数据是相当困难且耗时的。行人重识别(Person Re-Identification,Re ID)作为一种适用于该场景下的自动图像分析技术,近年来受到了广泛的关注与研究。在行人重识别算法中,行人的特征需要经过某种特殊的距离度量来排序。深度度
学位
炎性肠病(inflammatory bowel diseases,IBD)包含溃疡性结肠炎(ulcerative colitis,UC)和克罗恩病(Crohn’s disease,CD)两种主要类型。近些年,随着国人饮食结构的改变,结肠炎在中国的发病几率呈现逐年上升的趋势,这类疾病由于其患病周期长,反复性强严重的影响了民众的身心健康,并且占用了大量公共卫生资源。目前,对于结肠炎的发病原因仍不清楚,
学位
鳞杯伞是一种珍贵的野生食用菌,富含多糖、粗纤维、蛋白质和脂肪等营养物质,长期食用可防止血管动脉硬化,提高机体免疫力。研究表明,活性多糖具有抗氧化、抗肿瘤、抗衰老、抗胃溃疡以及保护肝脏等生物功效,现已成为当前科研领域的研究热点。本研究以鳞杯伞子实体为供试材料,通过响应面法优化鳞杯伞多糖(CSFP)的最佳提取工艺,并对CSFP进行分离纯化,探究CSFP及其纯化组分CSFP1-β和CSFP2-α的结构与
学位
脂质降解与发酵香肠的风味密切相关,并最终影响发酵香肠的品质。为筛选具有较高脂质降解能力的菌株,本试验以实验室保藏的12株菌株作为研究对象,首先在体外筛选脂质降解能力强的菌株,之后将所筛选出的菌株应用到发酵香肠中,考察对发酵香肠品质的影响,并分析发酵香肠中微生物、脂质和风味物质三者之间的相关性,探究脂质降解菌株在发酵香肠中的作用机制。具体研究内容和结果如下:1以实验室前期通过分离、纯化和16S r
学位
试验以甜荞(F.esculentum Moench)为原料,以寻找最佳富集γ-氨基丁酸(γ-aminobutyric acid,GABA)的方式为目的,优化电生功能水(electrolyzed functional water,EFW)、高压静电场(high voltage electric field,HVEF)处理条件。以优化结果为基础,将两种处理相结合,研究甜荞萌发后GABA含量变化及相关酶
学位
本文以小米、绿豆和高粱为原料,基于山西老陈醋酿造工艺,酿制小米绿豆醋。主要研究内容为,探究小米和绿豆不同比例的复配方案,通过CS、AAS和EAAI等氨基酸评价方法筛选出小米和绿豆的最佳复配比例;以氨基酸态氮、还原糖和总黄酮为评价指标,通过单因素、Plackett-Burman试验及响应面法优化小米绿豆醋的糖化工艺;以酒精度、氨基酸态氮和总黄酮含量为评价指标,通过单因素和响应面试验确定酒化阶段初始糖
学位
α-半乳糖苷酶可以催化α-1,6连接的末端半乳糖残基靶向水解半乳寡糖,在食品工业、动物饲料、生物医学和生物质加工方面具有巨大的潜力。为丰富食用菌α-半乳糖苷酶基因库以及开发五台山台蘑的应用潜力,本研究利用离子交换层析和凝胶过滤层析对鳞杯伞子实体中的α-半乳糖苷酶进行纯化,得到了一种分子量为50 k Da的α-半乳糖苷酶,命名为CSG。CSG的纯化倍数为891.46倍,得率为0.71%,比活为54.
学位
本研究选用小麦麸皮、胚芽,通过挤压膨化技术和超微粉碎技术来使物料改性,达到提高物料中可溶性膳食纤维(SDF)含量的目的。通过响应面优化物料挤压膨化的工艺参数,分析物料膨化粉碎前后的结构及功能性变化情况。结果表明:最优挤压膨化工艺参数,小麦麸皮为物料水分含量40%,螺杆转速45 r/min,末端膨化温度130℃;小麦胚芽为物料水分含量25%,螺杆转速50 r/min,末端膨化温度120℃。挤压膨化物
学位