基于深度集成学习的图像超分辨率算法研究

来源 :大连理工大学 | 被引量 : 2次 | 上传用户:evanchou8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单幅图像超分辨重建技术旨在从一幅低分辨率(Low Resolution,LR)图像中重构出纹理清晰的高分辨率(High Resolution,HR)图像。作为图像处理领域中一项关键技术,图像超分辨一直受到学者们的广泛关注,且在诸多实际场景中具有重要应用价值。近年来,利用深度学习理论解决图像超分辨成为研究热点。本文围绕基于深度学习的超分辨算法的现存问题,从集成学习的角度展开研究。本文的主要贡献如下:(1)本文提出一种基于深层与浅层集成网络的端到端超分辨算法,旨在有效提升网络深度,改善深层超分辨模型的性能饱和问题。深层网络虽建模能力强,但优化难度制约了其性能的提升。为此,本文提出将轻量级的浅层网络与深层网络集成,使二者分工合作并联合优化,从而易优化的浅层网络能较快捕获HR图像的主要结构信息,降低深层网络的学习难度,促进优化过程中的梯度传播;在浅层网络的辅助下,深层网络可以充分发挥自身优势,重建出精细的HR细节信息。为进一步提升算法性能,本文提出利用多尺度上下文信息重构HR细节,且在特征空间采用学习的方式对图像上采样,从而实现端到端可训练的集成模型。本文通过大量实验验证了该集成算法的有效性。(2)本文提出一种基于信息补偿降采样的超分辨算法,旨在有效扩充网络感受野,提升超分辨模型的上下文建模能力。本文首先提出一种具有信息补偿的降采样模块。该模块首次将池化层、像素级长短时记忆单元(LSTM)应用于超分辨任务,在扩充网络感受野的同时及时补偿了池化操作损失的信息。为了更全面捕获图像上下文信息并降低优化难度,该模块将像素级LSTM由常用的单向扩展为四向,且应用于低分辨率的特征空间进行全局信息编码。随后,本文利用密集跳连的方式将多个上述模块进行有效集成并联合优化。实验表明,与现有算法常用的增加网络深度的策略相比,本文所提降采样模块以及最终的集成算法能更有效地扩充感受野,达到更优质的HR重构结果。(3)本文提出一种基于分辨率感知的超分辨算法,旨在实现一个可以同时处理多种上采样率并具有良好泛化性能的超分辨模型。本文发现不同上采样率的超分辨任务之间既有根本不同,又存共同之处。因此,本文提出一种含有多个子模块的上采样网络,每个子模块负责超分辨过程的一个中间步骤,且可被不同上采样率的任务所共享。进一步,本文提出一种决策网络对输入LR图像进行质量判断。本文将上采样网络与决策网络相集成,根据决策网络的输出自适应地从上采样网络中选择合适的子模块集合来执行超分辨,从而实现了能兼顾处理不同上采样率的集成模型。此外,为了使该集成模型在多种超分辨任务上同时进行联合训练,本文提出一种多任务的分层级损失函数。实验验证了该算法在多种上采样率的任务上比现有算法具有更好地泛化性。(4)本文提出了一种基于混合深度模型的盲超分辨算法,旨在解决多种未知模糊核的图像超分辨问题。该算法根据LR图像的模糊核信息,将不同超分辨任务聚类分组。同一组中的超分辨任务具有相似的模糊核,可以采用混合网络中一个特定的网络子集进行处理。此外,本文设计一个编码网络来建模LR图像的模糊核信息,将其映射为隐含变量。进而,该算法将混合网络与编码网络集成,根据隐含变量自适应地进行超分辨任务聚类与对混合网络的子集选择。该算法建立于最大似然概率的框架下。为了对该集成模型联合优化,本文推导出似然函数的下限边界,以解决直接最大化似然估计过程中的不稳定性问题。此外,本文针对编码网络提出一种预训练策略,避免模型联合优化时陷入平凡解(Trivial Solution)的风险。本文通过大量实验验证了该盲超分辨算法的有效性与泛化性。
其他文献
解决复杂构造区域的叠前深度偏移问题,必须研究与之相应的速度建模方法.本文根据深度偏移与叠前速度的强耦合性,利用偏移和层析交替迭代的方式,以成像角道集作为速度更新道集
营养期杀虫蛋白(vegetative insecticidal proteins,VIPs)是一类在苏云金芽胞杆菌(Bacillus thuringiensis,简称Bt)营养期分泌的新型杀虫蛋白,对鳞翅目害虫具有较好的杀虫活
刘兰芝与祥林嫂是古今文学作品中不可多得的中国下层劳动妇女的悲剧典型,面对生活带给她们莫大的羞辱、不公,她们无从反抗,但是她们要倾诉,她们以“哭”这种独特的形式向人们
“五阳”运动以降,我国画家(主婴指围画家)受时代潮流推动,大多主动吸收两洋绘画的某些优长,从内容、形式、技法、工具、原料等方面,对传统绘画进行了不同程度的改革,以适应圃人审美
进行基于支持向量机的贷款风险评估研究,在训练向量空间中找到一个分类超平面,使向量分类具有较小的错误率,并获得较强的可扩展能力。从理论分析与实验对比可知,采用遗传算法可使
我国国土辽阔,电网规模大,利用无人机等自动化和现代化设备进行巡线维护已日益显示出其迫切性。为保障无人机巡线系统及输电线路的安全,提升巡线作业的可靠性,实现无人机对输
岩溶是一种起源于碳酸盐岩与酸性大气降水发生溶解侵蚀而形成的一种特殊地质现象。岩溶地貌占全球陆地面积的7~12%,世界上超过25%的人口依赖于岩溶含水层。然而,无论是在地理
浙江卫视频道总监夏陈安认为,国家广电总局刚颁布的61号令对电视媒体的影响不可谓不大,强势的地方卫视可以通过加大自制剧和综艺节目投入等形式消化,采取更加新颖的广告投入形式,植入式广告就是重要手段;弱势的电视台则面临难以消化的窘境,只能依赖于提高广告价格,最终可能形成强者更强弱者更弱的分化格局。电视媒体要在2010年逆势而上,自制剧是抢滩第一役。  据了解,浙江卫视中国蓝改版一周年以来,在全国的收视率