【摘 要】
:
近年来,深度神经网络模型已经能在各种分类任务中达到很高的准确率,然而最近的研究表明,深度神经网络容易受到对抗样本的攻击,攻击者只需在干净样本中添加一些人眼无法识别的微小扰动,就可以生成对抗样本,从而轻易地使深度神经网络模型对其产生错误分类,随着深度神经网络广泛应用于各个领域,对抗样本使这些深度神经网络系统面临巨大的安全威胁。因此,为了减少对抗样本对神经网络的影响,提高神经网络的鲁棒性,对深度神经网
论文部分内容阅读
近年来,深度神经网络模型已经能在各种分类任务中达到很高的准确率,然而最近的研究表明,深度神经网络容易受到对抗样本的攻击,攻击者只需在干净样本中添加一些人眼无法识别的微小扰动,就可以生成对抗样本,从而轻易地使深度神经网络模型对其产生错误分类,随着深度神经网络广泛应用于各个领域,对抗样本使这些深度神经网络系统面临巨大的安全威胁。因此,为了减少对抗样本对神经网络的影响,提高神经网络的鲁棒性,对深度神经网络中对抗样本的防御进行了研究,在保证神经网络模型对干净样本的分类性能前提下,提出了三种防御对抗样本的方法,并在MNIST和CIFAR10数据集上进行了实验验证。首先,为了使神经网络模型能够同时对单步攻击和迭代攻击对抗样本达到较好的防御效果,提出了基于高斯增强和迭代攻击的对抗训练防御GILLC,高斯增强提高了模型防御对抗样本的泛化能力,而ILLC迭代攻击用于近似解决对抗训练中的内部最大化问题。实验证明,GILLC在防御单步攻击时可以达到几乎与NAT相同的效果,在防御迭代攻击时可以达到与PAT相同的效果,而NAT/PAT仅对单步攻击/迭代攻击有较好的防御效果,GILLC全面提升了深度神经网络的鲁棒性。其次,为了使防御方法能够更加广泛地应用于各种训练模型,提出了基于KWTA-BRelu激活函数的防御,将有界激活函数BRelu和K-WTA-Relu激活函数结合,对Relu激活函数进行了简单的结构修改,模糊和破坏网络中的梯度信息,阻碍对抗扰动在网络层中的积累传播,减小了对抗扰动对模型的影响,基于K-WTABRelu激活函数防御不仅可以用于普通的模型训练,也可以用于对抗训练,实验表明,在K-WTA-BRelu、Relu、BRelu和K-WTA-Relu激活函数训练的模型中,KWTA-BRelu激活函数训练的模型具有最好的防御性能。最后,为了进一步提升对抗训练的防御效果,提出了基于改进对抗训练中损失函数的防御ILF,由于被网络正确分类和错误分类的训练集对训练网络的鲁棒性有不同的影响,分别提出了正确分类和错误分类训练集的损失函数,并且添加KL散度项来提升模型的鲁棒性,最后将两个损失函数合并优化得到ILF,实验证明,利用ILF比利用Standard和MART损失函数进行对抗训练的模型分类对抗样本的精度更高,因此,利用ILF进行对抗训练的模型具有更高的鲁棒性。
其他文献
近些年来,许多高维数据在不同的领域中产生。这些高维数据不易用传统方法处理,但迫切需要从这些数据中分析潜在的信息和模式。但是现在的机器学习模型更多地采用矩阵形式,这样会使得我们处理数据需要对数据特征进行向量化处理。对于多元之间的的信息融合和共享,采用矩阵运算表示会很复杂,而张量多线性表示其本身是更加自然的描述。描述张量多线性操作的图示,即张量网络由于其表达的便捷性,现在越来越流行。因为很多低秩的张量
任务规划技术在现实生活中应用十分广泛。任务规划算法通常在给定有限的子任务空间下进行子任务安排,进而得到一条可以满足业务需求的任务流程。目前,基于开放性空间的任务规划求解问题成为研究热点。但这类方法因开放性解空间的原因,对于交互性和动态调整性提出了需求,用户需要在任务规划阶段交互式参与解决方案的调整。为此,论文以代码模块组合任务规划为典型场景,将代码模块组合任务规划分解为代码搜索与代码组合两部分,解
随着信息科学技术的发展,图像已经深入人们生活的方方面面,图像中的内容也越来越复杂。多标签分类比单标签分类更能准确的描述图像中的内容,因而得到广大研究者的关注,并成功应用在智能管理相册、自动驾驶、广告推荐和视频监控等领域中。为了进一步提高多标签图像分类的效果,本文提出了基于语义空间注意力机制的多标签图像分类模型和基于语义通道注意力机制的高分辨率分类模型,具体的研究内容如下:(1)提出了基于语义空间注
强化学习作为机器学习领域的重要分支之一,是一种通过在环境中不断试错从而得到最优策略的方法。而得益于深度学习近年来的发展,结合强化学习与深度学习所形成的深度强化学习成为了一个热门的研究领域,并在许多问题上取得了突破性的进展。在深度强化学习算法中,异策略强化学习算法凭借其对样本数据极高的利用率在部分问题上具有显著优势。但是由于真实环境中的控制问题往往极其复杂,获得经验样本的成本非常昂贵,而且现有强化学
近年来,人工智能领域蓬勃发展,同时也存在一些问题和挑战。其中,数据孤岛,用户隐私保护导致的数据割裂问题尤为受到人们的重视。在各行业中,不同机构,同一机构不同部门的数据通常存在屏障,不能被直接共享或交换,表现为数据以“孤岛”的形式存在,这使得大数据驱动的人工智能技术难以充分发挥价值。此外,随着国内外数据隐私保护法规的不断完善,对企业在用户数据的收集、存储和使用环节中提出了高的用户隐私保护要求,这提高
伴随着无线设备的快速发展,现如今越来越多的车辆都配备有大量的无线设备,使利用大规模的车载网络成为了可能,因此,工业界和学术界对车载自组织网络(VANETs)产生了极大地兴趣。车载网络通常会因为车辆的行驶速度快,网络节点间的拓扑结构变化频繁,以及车载无线设备带宽低等问题,导致网络质量不佳。本文采取的解决方案是,利用路侧停放的车辆,将路侧停车加入车辆网络,利用停放的车辆中的无线设备进行网络的数据分发,
针对人工智能实际应用环境中的数据孤岛效应和数据隐私保护,联邦学习框架应运而生。本文研究了基于卷积神经网络的联邦学习算法,主要包括:(a)针对个性化,研究了联邦学习的框架下多个客户端联合训练,最终为每个客户端学习其对应的个性化模型;(b)针对通信瓶颈,研究了联邦学习中的通信压缩。具体的主要研究内容如下:(1)本文提出了基于子类个性化的联邦学习算法(Subclass Personalized Fede
基于会话的推荐系统作为一种有效的技术手段可以帮助用户发现与其当前会话中兴趣相关的物品。与传统推荐系统相比,会话推荐由于能够仅根据在进行的会话期间观察到的用户行为来进行推荐而具有高度实用性,受到研究者的广泛关注。当前研究主要将基于会话的推荐任务建模为根据现有点击序列数据预测用户的下一次点击问题,主要采用基于深度神经网络和表示学习的方法,利用会话中的物品点击序列提取与用户兴趣相关的特征,生成用户最可能
Spiking神经网络(SNN),作为第三代人工神经网络(ANN),模拟了大脑中神经元的信息处理方式,具有高度的仿生性和生物可解释性。相比于第一代ANN(使用M-P模型作为网络的计算单元)和第二代ANN(通过非线性的激活函数来处理线性不可分问题),SNN因为其独特的信息编码和处理的方式,具有更强大的计算能力。但是目前常见的SNN模型在计算上都非常复杂,不利于网络模型的扩展,而且也缺乏比较高效的算法
随着深度学习方法的不断突破,计算机辅助诊断技术在医学影像分析领域得到越来越多的发展。医学影像分析作为计算机辅助诊断技术的关键,其依赖的是基于图像处理技术的深度学习方法,本文涉及的膀胱镜肿瘤影像分析更是依赖基于深度卷积神经网络的多目标检测方法。但膀胱镜检影像样本和标签数量无法摆脱欠缺的问题,面临着小样本场景下的膀胱肿瘤感知技术难题。本文立足于深度卷积神经网络,从小样本场景的多目标分类和检测着手,重点