基于神经网络图像分类解释算法的攻击与防御

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:c0128
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络在图像分类、识别等领域取得重大进展。但深度模型的“端到端”决策逻辑和工作机制,使其成为“黑盒”模型,不被人类用户理解。人们开始研究可解释性技术,期望以可理解的方式解释这些模型,因此对深度神经网络的工作原理进行准确地解释是很重要的。然而,一个被操纵的解释可能会削弱人类用户对解释的信任,进而误导人类用户不相信一个可靠的网络。因此,设计有效的攻击方法来模拟现实世界中各种可能的威胁,对于评估现有解释算法的鲁棒性以及改进解释算法是很有意义的。本文研究了如何攻击深度神经网络解释算法。针对现有方法可攻击的解释算法种类少、且在攻击基于激活映射解释算法代价大的情况,提出利用对抗噪声的方法来攻击网络的解释。主要目的是在不改变网络对扰动图像预测其输出类别的同时,将解释突出到任意指定的区域内,因此本文设计目标函数优化了添加到输入图像特定区域内的视觉不可感知的噪声。本文提出了攻击的两种情况:单目标攻击和多目标攻击,提出的方法表明了最先进的显著性热图,包括基于反向传播的解释(Full-Grad、Norm-Grad),基于激活映射的解释(Grad-CAM、Guided-Feature-Inversion、Score-CAM、Grad-CAM++、CAM)很容易被攻击,且对抗噪声的攻击形式更为简单。通过实验证明了攻击方法在不同解释算法间具有迁移性,同时提出了泛化性能更高的普遍噪声攻击。针对Grad-CAM,本文也提出用图像补丁的形式进行攻击。本文对攻击结果进行了定性和定量验证,获得了显著的效果,为评估解释的鲁棒性提供了可行的对抗性攻击,并进一步提出了一种指标来衡量方法的有效性。为了增强解释算法的鲁棒性,使其对于攻击具有一定的防御能力,本文在已有解释算法的基础上,利用元显著方法改善了解释的性能,将解释朝着目标类的方向更新来提高解释在目标类上的判别性,得到的元显著解释在一定的噪声攻击下解释依然正确,不易被攻击。为了验证元显著解释的有效性,本文同时进行了正向和反向的系统性的评估。从正向,采用可视化直接观察的定向评估,以及类敏感性指标和删除重要像素指标的定量评估,实验证明了元显著方法改善后的解释热力图高亮区域更准确,且类判别性能更好。从反向,本文提出在两种通过扰动输入来攻击解释的算法下对鲁棒性进行验证,实验证明了元显著解释在这类攻击下的鲁棒性提高。通过和聚合防御方法对比,实验证明本文的方法鲁棒性能更好。本文的元显著方法,可以改进多种解释算法(包括聚合解释),具有一定的实用性和推广性,且实现更加简单。
其他文献
调制信号识别是智能通信、非协作通信和无线电频谱管理等领域的一项关键技术,旨在识别接收信号的调制类型。深度自编码器是深度学习领域中一种在半监督学习和无监督学习中使用的人工神经网络,具有强大的数据特征取功能。本文分别从信号降噪、特征取和信号识别等三个方面研究了深度自编码器应用于调制信号识别的方式与性能,具体内容包括:(1)研究并实现了一种基于栈式卷积降噪自编码器(SCDAE)的信号降噪方法。由三个降噪
冬奥会创办至今已走过83年的历程,其独特的冰雪魅力和所承载的挑战自然、追求极限、战胜自我的奥运精神不断吸引更多的人关注和参与。在信息快速发展的时代,奥运会或是任何体育赛事都缺席不了媒体的传播和报道。奥运会举办期间,媒体都会为受众报道相关的体育赛事状况,其中具有代表性的媒体就是《人民日报》。它是我国最具影响力和权威性的报纸,而且从1980年就开始报道冬奥会,为读者呈现每届冬奥会赛事的盛况。2022年
语音合成是一种将给定文本转换为语音的技术,它在手机语音助手、有声读物、歌曲合成、地图导航等领域具有广泛的应用。近年来,随着神经网络理论的快速发展,基于深度学习的语音合成方法成为当前的研究热点,并取得重要研究进展。该类方法通常采用端到端的语音合成模型,所合成的语音质量高、自然度好,但其参数较多,计算量很大,对硬件设备的存储能力和运算能力要求较高,在算力较低的设备上难以实现实时的语音合成。本文针对中文
在互联网软件快速发展的背景下,用户数据的采集与挖掘展示出了巨大的应用价值。用户画像作为勾画目标用户、联系用户诉求与设计方向的有效工具,它将具体信息抽象成标签,通过标签来描述用户特征。目前,针对于用户画像分析,用户标签单一往往导致用户分析不精确,大数据计算复杂,消耗时间长,并且针对不同的软件应用来说,用户的数据差异较大,不能采用统一的方式进行统计和计算。本文针对短视频应用,分析特定用户数据,使用基础
近年来,深度神经网络已经在计算机视觉、自然语言处理等诸多领域取得突破性的成绩,然而相比于决策树等逻辑直观的机器学习模型,深度神经网络本身的黑盒特性以及使深度神经网络失效的对抗样本,使得它们难以直接应用到医疗决策、自动驾驶等高风险领域中。因此深度神经网络的可解释性备受关注,多从图像分类任务的可解释性开始研究。一种主流的研究思路是探索模型对于单幅图像或一类图像的决策依据。前者以可视化解释方法为主,它们
2017年底,女性平权运动#MeToo如火如荼地展开,女性自发讲述权力性侵遭遇更成为媒体集中关注的社会问题。依托于历史传统,在国内女性讲述或控告遭遇权力性侵是一个年轻且大胆的话题。各类媒介中,涉事女性从模糊的桃色绯闻、权势罪责、红颜祸水中逐渐脱离男性附属品的标签呈现出愈发清晰的样貌,与此同时却也伴随着一系列伦理失范现象与强暴迷思。本研究主要采用个案分析、内容分析、文本分析、深度访谈四个方法:个案选
目的:探讨中医护理适宜技术融入优质护理服务的效果。方法:医院自2021年5月起对呼吸内科的护理管理模式进行调整,尝试将中医护理适宜技术融入优质护理服务,通过培训,明确优质护理服务理念,确保中医特色护理服务质量,并围绕优质护理服务增加中医适宜技术,重新拟定护理流程,做好相关质控工作,统计调整前后3个月呼吸内科的管理数据,比较不同时期的护理管理质量,调整前后各随机抽取100名患者,调查满意度情况。结果
虹膜识别由于具有准确性、稳定性、非接触性等特点而成为最受关注的安全识别认证方法之一。该方法利用虹膜丰富的纹理信息对个体进行身份验证。由于深度卷积神经网络具有强大的特征提取能力,本文基于深度学习的方法分别设计了应用于虹膜识别任务的虹膜检测与分割以及识别的架构。在对虹膜图像进行识别前,首先要对人眼图像中的虹膜区域进行检测与分割。不同于以往使用Adaboost级联分类器等传统方法对虹膜进行检测,再利用霍
正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术因其在频率选择性衰落信道中的优异表现,在第四代移动通信技术中扮演了重要的角色。但是作为一种多载波传输方案,OFDM符号与生俱来的高峰值平均功率比(Peak-to-Average Power Ratio,PAPR)问题会导致严重的非线性失真。传统的PAPR抑制算法性能有限,且会造成一定的
现如今物联网正在快速发展,无线数据流量的需求随之迅猛增长,多种无线信号,如WiFi、蓝牙、毫米波等充斥在人们的工作和生活空间。无线信号除了可以进行通信外,还可以被用来实现感知覆盖范围内目标信息状态,如位置、速度、手势、步态、生命体征等。目标的不同状态对无线信号的反射、折射、散射等现象会产生不同的影响,无线感知技术通过揭示和分析目标对周围无线信号的影响模式,实现不同的感知任务。凭借其不需携带任何设备