基于Core ML的图像风格化迁移系统设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:lingotest
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的日益兴起和人们对艺术追求的日益高涨,图形图像技术和艺术领域碰撞出图像风格迁移的火花。图像风格迁移属于计算美学领域,在游戏制作、动画渲染、广告设计等领域有大量应用。并且图像艺术化后具有很强的艺术感染力和文化内涵,使得该领域具有重要的研发意义。图像风格迁移是一种用不同风格渲染内容图片语义结构的方法,使生成的图片既有原始内容图像的语义结构,又有风格图像的纹理特征,呈现出内容和风格重新完美结合的效果。目前风格迁移方法普遍存在的两大问题,一是风格模式中的伪影和扭曲,二是现有的网络模型普遍计算代价高、训练模型耗时,难以部署在移动设备端。针对以上问题,本文基于深度卷积网络和i OS移动开发知识展开了深入的研究,最终实现比较全面的的图像风格迁移算法,具体的实现和解决方案如下:1.论文第三章简单介绍了自适应实例正则化(Adaptive Instance Normalization,Ada IN)和白化转化(Whitening-Coloring Transform,WCT)作为风格迁移模块的原理,并尝试使用风格装饰器(Style-Adorner,SAD)作为风格迁移模块。通过实验对比三者发现SAD不仅可以在整体上保留风格的分布,而且保留了风格的细节部分。并且在第四章以SAD作为风格转化模块嵌入到所提出的网络架构中。实验结果表明SAD的迁移效果和简洁性都优于WCT和Ada IN,使用SAD作为风格迁移模块这一思路在视觉质量和有效性上都有较好的效果。2.为了充分利用从编码器得到的特征,设计了基于特征聚合的前馈网络。借助预训练的编码器,提取和聚合从低级到高级的特征,更好的保留图像的细节。在论文里深度特征聚合采用迭代的思想合并特征不同的层次,使设计的网络具有更少的参数和更好的准确率。3.在网络训练过程中,使用了结合参数和非参数为一体的方式作为损失函数,较好的综合了两种思想的优点。神经参数模型产生的结果,保留了图像的内容和艺术的整体外观。然而,这些模型扭曲了局部的风格模式,并且无法获得局部语义层面的转换。神经非参数模型可以很好的解决这些问题,但是他们的样本匹配使用贪婪优化,导致图像风格的丰富性降低。使用新的损失函数可以将全局与局部的风格都保留下来。4.将深度学习与移动客户端结合,具体为基于Core ML在App中整合机器学习模型并应用。Core ML为所有的模型都提供了一种统一的呈现方式,App可以使用Core ML的API和用户进行交流,以及训练或简单的调试模型,这一切都可以在用户的设备上完成。因此将训练好的PyTorch模型转换成苹果系统支持的mlmodel文件格式,使用Objective-C语言基于转化后的模型开发了一款简单的图像风格迁移App,用户在移动端就可以完成风格迁移。给移动应用增加了一定的趣味性与创新性。
其他文献
研究目的:分析儿童重症呼吸道合胞病毒(Respiratory syncytial virus,RSV)性肺炎相关危险因素,总结其临床特征。研究方法:回顾性研究2014年1月1日至2018年12月31日首都儿科研究所附属儿童医院呼吸内科住院的RSV肺炎患儿。(1)依据儿童社区获得性肺炎诊疗规范(2019年版)中重症肺炎的标准,将患儿分为重症组与普通组,对两组患儿一般资料、临床症状、实验室检查、影像学
近年来,随着通信技术的发展,人们对大容量和高速率信息传输需求越来越高,为了满足社会需求,需要采用不同调制格式的矢量信号进行信息传输,以提高通信传输速率和频谱利用率,因
近几年压缩感知理论在密码学中获得广泛的研究和发展,其固有的高速采样和压缩结构,不但可以保证传输信息的安全性,而且可以解决海量数据通信时面临的通信带宽和存储压力的问
为了适应作战的需要,雷达经常被安放在大型特种飞机、歼击机、导弹等各种运动平台上,以帮助武器装备获得更广的视野范围、更强的低空目标检测和跟踪能力、更好的跟踪和火控精度。空中运动平台载的各种雷达都难以避免地受到地面杂波的干扰,杂波抑制一直是这类雷达研究和研制的关键技术问题。空时自适应处理(STAP)技术可以有效地抑制杂波,改善运动雷达的动目标检测性能。但目前的研究大量集中在搭载平台理想飞行和雷达阵列轴
通信信号调制方式识别是非合作信号处理的关键一环,尤其是基于统计模式识别的方法是目前研究热点。在特征提取过程中由于信号频率、相位等先验信息不足,以及外界环境噪声对信号特征的稳定性的影响,使得空间信号的调制识别一直是难点问题。本文围绕抗噪声能力强、需求先验信息少的谱特征提取方法以及信号分类器开展研究。分析了数字调制和模拟调制信号的各类谱特性,包括信号功率谱、二次方谱、四次方谱、包络谱和分数低阶循环自相
流数据的离群点检测在信用卡欺诈检测、股票投资计划等许多现代应用中都发挥着重要作用,是数据管理领域中的一项重要问题。应用最为广泛的基于距离的离群点检测现已被广泛研究。但现有技术无法支持面向多维流数据的离群点高效检测,其根本原因是高昂的范围查询和候选对象维护代价。针对上述问题,本文提出了查询处理框架PIOD(Partition-Index based Outlier Detection)和ISOD(I
基于交错正交幅度调制的滤波器组多载波(OQAM/FBMC)通过对每个子载波引入时频聚焦特性良好的原型滤波器,相比传统的正交频分复用(OFDM)系统能够更好地抑制带外泄露和实现宽松同步。目前作为多载波调制系统(MCM)的研究热点,被广泛应用于无线局域网、电力线和光通信等多种通信手段。由于OQAM/FBMC牺牲了子载波之间的正交性,仅通过OQAM建立实数域上的正交性。因此即使在没有信道衰落、噪声和同步
下一代移动通信网络的主要特点包括密集部署和大规模接入,然而这些特性将引入更严重的干扰,因此有效的干扰管理技术尤为重要。本文主要研究两种场景下的干扰管理问题:面向随机接入的密集部署无线网络系统中的干扰问题;以及面向空中高速移动无人机终端的干扰问题。具体的研究成果和贡献概况如下:下一代无线WLAN网络,802.11ax,旨在提升热点区域的频谱效率以及系统吞吐量,为用户提供稳定的高速数据传输服务,其将成
手电是一种手持式电子照明工具,通常是由电池供电的灯泡和聚焦反射镜和供手持用的手把式外壳组成。枪械上装配的瞄具根据设计原理不同,可以分为:机械类瞄具、光学类瞄具。光学类瞄具有全息式瞄具、内红点反射式瞄具、激光准直式瞄具等,光学类瞄具具有快速瞄准、精度高的特点。目前第三代手电多以发光二极管为光源,以碗镜或简单的塑胶透镜为光学系统,光学系统较简单,出射光束为发散光,主要用于夜间照明,光束不能平行射出,不
当今时代是信息爆炸的时代,频谱资源短缺和通信速率不足是阻碍当今通信发展的主要障碍。大规模多输入多输出(Multi-input Multi-output,MIMO)技术的提出很好的解决通信速率不足的问题,同时也成了5G通信系统的主要技术。在传统大规模MIMO和分布式MIMO技术基础上发展起来的cell-free大规模MIMO技术汲取了这两种技术的优点,同时它拥有更高的覆盖率。本文主要研究cell-f