论文部分内容阅读
单幅图像超分辨重建技术旨在从一幅低分辨率(Low Resolution,LR)图像中重构出纹理清晰的高分辨率(High Resolution,HR)图像。作为图像处理领域中一项关键技术,图像超分辨一直受到学者们的广泛关注,且在诸多实际场景中具有重要应用价值。近年来,利用深度学习理论解决图像超分辨成为研究热点。本文围绕基于深度学习的超分辨算法的现存问题,从集成学习的角度展开研究。本文的主要贡献如下:(1)本文提出一种基于深层与浅层集成网络的端到端超分辨算法,旨在有效提升网络深度,改善深层超分辨模型的性能饱和问题。深层网络虽建模能力强,但优化难度制约了其性能的提升。为此,本文提出将轻量级的浅层网络与深层网络集成,使二者分工合作并联合优化,从而易优化的浅层网络能较快捕获HR图像的主要结构信息,降低深层网络的学习难度,促进优化过程中的梯度传播;在浅层网络的辅助下,深层网络可以充分发挥自身优势,重建出精细的HR细节信息。为进一步提升算法性能,本文提出利用多尺度上下文信息重构HR细节,且在特征空间采用学习的方式对图像上采样,从而实现端到端可训练的集成模型。本文通过大量实验验证了该集成算法的有效性。(2)本文提出一种基于信息补偿降采样的超分辨算法,旨在有效扩充网络感受野,提升超分辨模型的上下文建模能力。本文首先提出一种具有信息补偿的降采样模块。该模块首次将池化层、像素级长短时记忆单元(LSTM)应用于超分辨任务,在扩充网络感受野的同时及时补偿了池化操作损失的信息。为了更全面捕获图像上下文信息并降低优化难度,该模块将像素级LSTM由常用的单向扩展为四向,且应用于低分辨率的特征空间进行全局信息编码。随后,本文利用密集跳连的方式将多个上述模块进行有效集成并联合优化。实验表明,与现有算法常用的增加网络深度的策略相比,本文所提降采样模块以及最终的集成算法能更有效地扩充感受野,达到更优质的HR重构结果。(3)本文提出一种基于分辨率感知的超分辨算法,旨在实现一个可以同时处理多种上采样率并具有良好泛化性能的超分辨模型。本文发现不同上采样率的超分辨任务之间既有根本不同,又存共同之处。因此,本文提出一种含有多个子模块的上采样网络,每个子模块负责超分辨过程的一个中间步骤,且可被不同上采样率的任务所共享。进一步,本文提出一种决策网络对输入LR图像进行质量判断。本文将上采样网络与决策网络相集成,根据决策网络的输出自适应地从上采样网络中选择合适的子模块集合来执行超分辨,从而实现了能兼顾处理不同上采样率的集成模型。此外,为了使该集成模型在多种超分辨任务上同时进行联合训练,本文提出一种多任务的分层级损失函数。实验验证了该算法在多种上采样率的任务上比现有算法具有更好地泛化性。(4)本文提出了一种基于混合深度模型的盲超分辨算法,旨在解决多种未知模糊核的图像超分辨问题。该算法根据LR图像的模糊核信息,将不同超分辨任务聚类分组。同一组中的超分辨任务具有相似的模糊核,可以采用混合网络中一个特定的网络子集进行处理。此外,本文设计一个编码网络来建模LR图像的模糊核信息,将其映射为隐含变量。进而,该算法将混合网络与编码网络集成,根据隐含变量自适应地进行超分辨任务聚类与对混合网络的子集选择。该算法建立于最大似然概率的框架下。为了对该集成模型联合优化,本文推导出似然函数的下限边界,以解决直接最大化似然估计过程中的不稳定性问题。此外,本文针对编码网络提出一种预训练策略,避免模型联合优化时陷入平凡解(Trivial Solution)的风险。本文通过大量实验验证了该盲超分辨算法的有效性与泛化性。