多模型超分辨率框架的研究与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:whitesharke
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的成功应用,计算机视觉领域也有了飞跃性发展。超分辨率技术(Super Resolution,SR)是计算机视觉领域下的一个分支,目标是能够从一张或多张低分辨率图像重构出高分辨率图像,使图像纹理更加清晰、视觉效果更加自然并符合人的视觉感受。目前超分辨率技术已被成功地应用于交通监测、卫星遥感、图像识别与目标跟踪等诸多领域中。本文在基于生成对抗网络的模型上进行改进,设计了一个能将图像分类训练,然后将图像分类重构的多模型超分辨率框架。该多模型超分辨率框架在保持图像重构质量的前提下,大幅减少模型训练时间以及图像重构时间,而且框架所训练的多个模型能有效处理各种类型的图像。本文主要工作如下:(1)研究了模型深度及其重构效果之间的关系。我们分别使用已经训练好的ESRGAN的6个不同深度的模型,来对100张图像测试并测量图像的感知质量PI值。我们发现,在ESRGAN的6个不同深度的模型里,17张图像在浅深度的模型中有最好重构效果,27张图像在中深度的模型中拥有最佳的图像重构效果,24张图像在高深度的模型中拥有最好重构效果。所以我们得出结论,并非模型越深其重构效果就越好,使用浅深度模型也能达到较好的图像重构效果。(2)基于TVAT标准以及使用Sobel算子的图像预分类在深度学习之中,网络中层数较浅的部分主要是提取图像的简单特征如纹理、颜色、边缘等;而层数较深的部分则提取图像深层次的特征,利用该特点,图像识别和图像分类的准确率会更高。因此我们设计了基于TVAT标准以及使用Sobel算子的图像预分类器,该预分类器可以就图像内容复杂程度将图像分为简单、中等和复杂三类,准确率达71%,而且时间开销很低。(3)设计了多模型超分辨率框架我们设计的多模型超分辨率框架使用了图像分类训练,图像分类重构的策略。图像预分类器将图像分为简单、中等、复杂三类,简单类别的图像使用浅深度的模型进行训练和重构,中等类别的图像使用中等深度的模型进行训练和重构,复杂类别的图像使用高深度的模型进行训练和重构。相比于ESRGAN,MMSR在保持图像重构质量的情况下平均训练时间节省了22.68%,重构时间节省了36.41%。
其他文献
随着国家城镇化进程不断推进,城市越来越拥挤,人们的出行效率逐渐变低。出租车(网约车)是城市公共交通工具之一,每天都在产生大量的订单数据,它的出行订单需求和订单分配一直影响着出行公司的决策和车辆调度,从而影响人们的出行效率,准确的出行订单需求预测有助于人们错峰出行,合理的订单分配策略可以减少人们在出行过程中消耗的时间。当前订单需求预测和订单分配分别还存在以下不足:(1)可利用特征少,未考虑区域特征对
开源软件项目作为一种群体协作创新的产物,其迅猛发展积累了海量的可复用资源,为软件创新学习和创新实践提供了坚实的基础。然而项目的快速迭代以及全方面发展,也同时为项目资源的检索和复用带来了挑战。目前大多数搜索引擎和开源社区通过搜索关键字获取开源代码,然而这些关键字大多是基于代码的。因此,当开发者不知道如何实现某个方法时,就无法通过搜索代码来得到自己想要的代码片段;而如果项目注释质量低,代码注释就很难对
稀薄空气动力学是探讨稀薄气体流动问题中质量、能量传递连同产生的化学反应规律的一门学科。由于环境真空度很高,稀薄效应显著,传统的连续性方法不再适用。等离子体羽流作为稀薄流的一个重要分支,主要应用于等离子器件分析及等离子体推力器等领域。随着高性能计算技术的发展,通过数值模拟研究等离子体羽流成为重要的研究手段和热点方向。直接模拟蒙特卡罗(Direct Simulate Monte Carlo,简称DSM
现代船舶通信以安全、高效、智能为目标,其发展趋势主要体现在:船岸通信一体化、船岸管理一体化、船舶监控智能化、应急处置自动化,确保通信更加顺畅,确保船舶航行更安全。面对高标准的管理、监控、安全要求,陆地各业务主管单位均实现了岸船管理一体化系统,陆地和海洋船舶通信迅速融为一体,但是由此导致了多个应用软件无序竞争有限的卫星通信带宽资源,容易造成信息传输速度慢、冗余大、效率低、稳定性差,无法满足业务主管单
语音、图像、文字等作为传承世界文明的载体,极大程度地丰富了世界文明发展史,一直是学术界与工业界研究的重点,随着数字化社会的不断发展,人们希望从这些载体中提取到更有用的信息,当这些信号以矩阵形式进行表示并进行运算时,可以解决生活中的实际问题。本文主要以语音分离为研究背景,针对语音分离过程中矩阵分解效果与效率问题进行研究。首先,由于分离场景的不确定、分离对象为多说话人混合语音信号,存在信号特征表达不充
为了丰富水下铁磁性目标探测手段,弥补声纳探测方式的不足,磁异常探测作为非声探测的主要方式受到了越来越多国家的重视。而超导量子干涉仪(SQUID)作为目前最为灵敏的磁传感器之一,能够将微小的磁场变化转化为可以测得的电压信号,可以将磁异常探测灵敏度成数量级的提升。低温直流超导量子干涉仪(DC-SQUID)是各类SQUID器件中的一种,具有噪声低、灵敏度高、结构稳定等特点,本文基于DC-SQUID器件,
磁浮列车依靠电磁力实现与轨道无接触运行,是一种新型轨道交通系统,其中悬浮系统是支撑磁浮车辆的核心关键系统。悬浮系统故障不仅包含了各个部件的完全失效,也包括了由于长时间运行导致性能退化产生的微小故障,不论是哪种故障的发生,都有可能影响磁浮列车正常运行,因此对磁浮列车悬浮系统的故障诊断问题进行研究十分必要。在国家“十三五”重点研发计划课题任务“永磁电磁混合悬浮系统建模、故障诊断与容错控制研究”支持下,
本文以某巡航导弹的毁伤为研究内容,主要使用仿真计算等方法对破片战斗部毁伤巡航导弹进行了研究,以实现对破片战斗部打击巡航导弹目标的毁伤效能评估。首先,对巡航导弹目标进行了系统地调研,分析了目标的结构、材料、战场作用以及毁伤模式等,建立了目标的毁伤树,拟定了目标的毁伤判定依据,得到了目标各个舱段的等效靶模型;其次,对破片侵彻巡航导弹各个舱段进行了数值模拟研究,对巡航导弹不同舱段遭到毁伤的机理和现象进行
我国国内疫情的反复致使我们与新冠肺炎疫情进入了拉锯战中,可以说我们进入了后疫情时代,疫情的出现导致商业实体经济受挫严重,本文以后疫情时代下郑州商业实体经济的发展为题展开分析:通过对疫情前后郑州商业实体经济情况进行阐述,分析郑州商业实体经济发展的困境原因:第一,电子商务高速发展对于商业实体经济的冲击;第二,郑州商业实体经济配套设施不完善、专业人才不多;第三,郑州商业实体经济品牌建设力度不足、推广效果