基于多源融合与混合注意的人脸篡改检测及应用

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:tdj_zhj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于神经网络对图像中篡改现象进行检测的方法在数字图像取证领域具有巨大的优势,而目前只采用目标检测模型完成鉴别任务的相关工作较少。本文以人脸篡改检测为目标场景,提出相关方法,并在场景中的验证其效果,分析其优劣处,主要工作如下:(1)针对单一识别网络对篡改图片识别性能低的问题,在YOLOv4模型基础上提出一种融合多源视觉线索的人脸篡改检测模型。首先采用多种滤波器提取图像频域和噪声域的特征,并将提取到的特征拼接融合。其次,采用轻量级网络结构MobileNeXt作为主干网络,提升特征提取能力,最终采用基于深度过参数化卷积的特征融合网络融合多尺度特征。在Face-Forensics++数据集和Celeb-DFv2数据集上测试,鉴别效果相比于原YOLOv4均有明显提升。其中在Celeb-DFv2数据集中,AUC提升了1.3%,准确率提升了4.3%。(2)考虑到鉴别模型在特征空间与通道维度的应用不足,提出一种子空间混合注意力机制。网络结构首先为了提升细粒度分类特征的有效表达,将特征按通道维度划分为多组子空间特征,其次在每一组特征中引入空间注意力机制,对空间维度进行自适应调节,并采用通道注意力用以表征通道维度特征,融合每组特征的通道注意力特征与空间注意力特征,弥补跨通道之间非线性关系信息。最终,将各组多尺度特征进行拼接融合并输出。在不同数据集下做测试,结果表明,在网络引入约0.4%参数量的情况下,子空间混合注意力机制可以提升人脸篡改检测效果。其中在Celeb-DFv2数据集中,针对图像级的检测任务AUC提升了1.2%,准确率提升了1.8%,针对视频级的检测任务AUC提升了0.3%,准确率提升了1.4%。(3)针对移动端场景中对网络模型大小以及计算的局限性,修改模型结构,提出一种适用于移动端设备的人脸篡改检测网络结构。首先,采用多源视觉融合模块提取多源视觉线索,并设计一种基于紧凑型混合注意力网络结构进一步提取特征。其次根据数据集标注信息分析,将原网络中特征融合模块的输入由三种尺寸特征减少为两种尺寸,将用于特征融合的卷积层替换为单一的深度过参数化卷积,用于压缩通道的卷积层替换为单一的1×1卷积层,最终训练网络,并将训练好的网络用ncnn框架部署至移动端测试。经过测试,可以发现检测精度略微下降,但可以在移动端完成图像级检测任务。在Celeb-DFv2数据集中,针对图像级的任务AUC仅仅下降了0.2%。而参数量减少为原网络的1/3。
其他文献
目的:观察青少年近视患者配戴角膜塑形镜后角膜生物力学与角膜形态的变化规律,从角膜组织生物力学方面评估戴镜的安全性及有效性。方法:本课题为前瞻性研究,共纳入初次验配角膜塑形镜(orthokeratology,OK镜)的青少年近视患者72例124眼,其中年龄8~17(11.750±2.189)岁;等效球镜度(spherical equivalent,SE)范围在-0.75~-6.00(-3.320±1
目的:探讨腹腔镜与开腹两种手术方式的宫颈癌根治术对病理结果的影响。方法:回顾性分析贵州省肿瘤医院妇瘤外科及贵州医科大学附属医院妇科2018年4月至2020年1月住院,诊断为宫颈鳞状细胞癌IB1-IIA2期行宫颈癌根治术的193例患者,其中开腹宫颈癌根治术87例,腹腔镜下宫颈癌根治术106例,根据手术方式、术后常规病理结果,统计分析腹腔镜和开腹宫颈癌根治术术后病理结果的差异。观察记录腹腔镜和开腹宫颈
目的:通过检测剖宫产术后子宫瘢痕妊娠(cesarean scar pregnancy,CSP)和剖宫产后正常妊娠患者子宫蜕膜组织中的转化生长因子β1(transforming growth factorβ1,TGF-β1)、结缔组织生长因子(connective tissue growth factor,CTGF)和血管内皮生长因子(vascular endothelial growth fact
目的:应用扫频源光相干断层扫描(swept-source optical coherence tomography,SS-OCT)及光相干断层扫描血流成像技术(optical coherence tomography angiography,OCTA)研究特发性黄斑前膜(idiopathic epiretinal membrane,i ERM)手术前后黄斑区微结构变化,以术前预估患者术后视力情况。
目的:随着现代医学模式的转变,身心疾病越来越受到社会关注,诸如青光眼、中心性浆液性脉络膜视网膜疾病、甲状腺相关眼病、糖尿病视网膜病变等眼部疾病已被证实与A型性格存在一定相关性。研究发现A型性格个体因为容易处于精神应激状态,可引起体内炎症因子释放增多以及微循环障碍,可能影响泪液分泌功能和眼表稳态,导致干眼的发生,而B型性格个体由于不容易发生应激状态,则不容易引发干眼。同时不健康的用眼习惯和生活作息规
在统编教材背景下,教师对教学的主导不应仅仅停留在课堂上,课后还要作出合理的引导,不断拓展,这样一来,因材施教,设置个性化的语文作业就变得尤为必要。一、作业尽量多样化,激发学生的学习兴趣首先,在设置作业的时候要避免短时间的重复。比如,今天抄生字、词,明天可以背古诗,后天可以写课文随感,第四天可以用一句话归纳文章主旨等。这样延长了作业重复的周期,一定程度上可以缓解学生的厌学情绪。
期刊
目的:为进一步了解Dkk1在前列腺癌中的表达及在临床预后中的意义,同时探索Dkk1在前列腺癌骨转移过程中所发挥的作用,为前列腺癌的诊断和治疗提供新的方向。方法:通过构建前列腺癌细胞株,比较不同转移潜能前列腺癌中Dkk1蛋白质表达差异,通过在组织芯片和石蜡切片中进一步比较正常前列腺组织与前列腺癌组织中Dkk1的表达差异。最后利用公共数据库数据,通过SPSS和R等软件进行临床特征和生物信息学分析,探究
目的:本实验通过研究在丹参注射液作用下,血管内皮生长因子(VEGF)、整合素αvβ3在子宫内膜中的表达情况,进一步探索丹参注射液对子宫内膜容受性的影响。方法:收集2020年01月-2020年12月于贵阳市妇幼保健院行宫腹腔镜联合探查术的25例不孕症患者的子宫内膜组织,其中:输卵管梗阻患者9例、PCOS患者8例、子宫内膜异位症患者8例,术后病检子宫内膜增殖期13例,分泌期12例。无菌条件下将取出的子
泽那基斯既是二十世纪作曲大师,也是建筑大师,其双重身份对其音乐创作影响至深。本文通过分析管弦乐作品《Jonchaies》,试图就其音高形态与有机建筑形态进行解析和比对,解读泽纳基斯的音乐创作与建筑形态观的关联和融合。
随着无线通信技术的高速发展,用户在通信过程中对系统安全性能提出了更高的要求。无线网络给用户带来便利性的同时也存在安全隐患,其开放的通信环境使得无线传输很容易受到被动窃听、主动干扰等恶意攻击,这激发了广大研究工作者寻求利用物理层信道特征来提高系统安全性能。本文主要研究了在多用户无线通信网络中的物理层安全问题,通过引入人工噪声、智能反射面等关键技术,并结合多用户调度、功率分配优化等方法,提高多用户无线