随着互联网的快速发展,以深度学习技术为代表的人工智能技术在自然语言处理、计算机视觉、专家系统、智能机器人等领域取得了巨大的成功。在以恶意软件检测和自动驾驶为代表的安全领域,深度神经网络模型展现出了很高准确率和优异的泛化性能。然而,近年来对抗攻击方面的研究表明,深度学习本身的准确性和鲁棒性容易受到对抗样本的影响,添加了微弱扰动的对抗样本就足以欺骗深度神经网络模型,这给人工智能技术带来了新的挑战。对抗攻击研究是攻击和防御的博弈。一方面,研究者不断在已有的攻击算法基础上改进优化,提出更加高明的对抗攻击算法,并尝试建立更加完善的防御策略;另一方面,防御策略的进步反过来推动对抗攻击技术的发展。对抗样本及相关生成算法的研究,对于提升模型鲁棒性、推动神经网络模型在实际生产环境中的实施和部署具有重要积极意义。本文系统性地研究了计算机视觉领域的对抗攻击关键算法,并在恶意软件检测和自动驾驶领域为例的安全领域提出对抗样本生成算法并完成实验评估和分析。本文的主要贡献如下:(1)系统性地综述、分析计算机视觉中的对抗攻击关键算法,并提出多维度的分类标准。同时,在相同实验条件下评估主流对抗攻击算法的攻击效果,并进一步研究不同攻击算法生成的对抗样本图片的鲁棒性。(2)在恶意软件检测场景下,研究先进的“端到端”恶意软件检测模型,并在收集的不同数据集上完成训练和评估。提出一种基于遗传算法的黑盒对抗攻击算法(FGA),实验证明FGA算法生成的恶意软件对抗样本能成功欺骗“端到端”恶意软件检测模型。进一步地,本文提出一种基于RNN的“端到端”的神经网络检测模型MalRNN,实验证明MalRNN模型相较于其他恶意软件检测模型,检测准确率和AUC指标相当,但是具有更强的鲁棒性。(3)在自动驾驶场景下,本文搭建并训练基于DonkeyCar的自动驾驶小车模型,并且基于FGSM算法和显著矩阵算法生成交通标志对抗样本,在仿真和真实环境中的自动驾驶场景下对比评估两种对抗样本的攻击表现。(4)设计并实现了对抗攻击实验工程平台,并完成性能评估,本文的实验平台已经成功应用在大学课程教学实践中。