机器学习中的对抗性攻击：威胁与防御

原创：Lina Xu

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

随着机器学习和人工智能技术的不断发展，对抗性攻击也变得越来越普遍。这些攻击可能会导致人工智能系统的错误分类、误判或者甚至被完全破坏。本文基于
Adversarial Attacks and Defences: A Survey

什么是对抗性攻击

对抗性攻击是指通过对原始数据进行微小的扰动，生成能够欺骗机器学习模型的对抗样本。这些样本看起来与正常数据非常相似，但是却能够导致模型产生错误的输出结果。对抗性攻击已经成为了机器学习和人工智能领域中一个重要的研究方向。

对抗性攻击的重要性在于，它可以导致机器学习模型产生错误的输出结果，从而影响到实际应用中的决策和结果。例如，在自动驾驶汽车中，如果攻击者能够生成对抗样本来欺骗车辆识别系统，那么就可能导致车辆出现误判行驶路线或者无法识别障碍物等问题，从而危及行车安全。

因此，解决对抗性攻击问题是非常必要的。研究人员提出了一些防御方法来提高模型的鲁棒性，并且不断地探索新的方法来应对不断变化的攻击手段。同时，也需要加强安全意识和技术防范措施，在实际应用中保障机器学习系统的安全和可靠性。

对抗性攻击方法和场景

在对抗性攻击中，攻击者会利用一些技巧来生成对抗样本，例如快速梯度符号方法（FGSM）、基于梯度的优化方法（BIM）等。这些方法都是通过对原始数据进行微小的扰动来生成对抗样本，从而欺骗机器学习模型。例如，在图像识别任务中，攻击者可以生成对抗样本来欺骗图像识别系统，使其将一张猫的图片错误地识别为狗的图片。在语音识别任务中，攻击者可以修改语音信号来欺骗语音识别系统，使其将一段说话内容错误地识别为其他内容的语音。

对抗性攻击方法

对抗性攻击方法包括但不限于以下几种：

• FGSM（Fast Gradient Sign Method）攻击：通过计算损失函数的梯度来生成对抗性样本。这种攻击方法是一种无目标攻击，攻击者通过计算损失函数的梯度，生成一个具有相同方向但是非常小的扰动，来欺骗模型。这种攻击方法通常用于图片分类问题。
• PGD（Projected Gradient Descent）攻击：在FGSM攻击的基础上，使用投影算法来确保生成的对抗性样本仍然在输入空间内。这种攻击方法是一种有目标攻击，攻击者通过计算损失函数的梯度，反复迭代生成多个扰动，直到满足攻击目标为止。这种攻击方法相对于FGSM更加复杂，但也更加有效。
• CW（Carlini and Wagner）攻击：通过最小化一个特定的损失函数来生成对抗性样本。这种攻击方法是一种有目标攻击，攻击者通过优化一个代价函数来生成最小化的扰动，从而使模型对其攻击目标进行错误分类。这种攻击方法在复杂模型和更高维度的数据上表现出较好的攻击效果。
• JSMA（Jacobian-based Saliency Map Attack）攻击：通过计算损失函数的雅可比矩阵来确定哪些特征最容易被修改，从而生成对抗性样本。JSMA攻击可以应用于多种不同的机器学习模型和数据集，同时也可以进行有目标或无目标攻击。它旨在欺骗机器学习模型，使其对输入数据进行错误分类。与其他对抗性攻击方法相比，JSMA攻击具有高效、可解释性和灵活性等优点。

攻击场景

攻击场景包括但不限于以下几种：

• 白盒攻击：攻击者可以完全访问深度学习系统的结构和参数。这种攻击场景下，攻击者可以使用各种攻击方法来生成对抗性样本。
• 黑盒攻击：攻击者只能访问深度学习系统的输入和输出，无法获取其内部结构和参数。这种攻击场景下，攻击者需要使用一些基于元模型或迁移学习的技术来生成对抗性样本。
• 物理世界中的攻击：在现实世界中，深度学习系统可能会受到物理干扰，如光线、声音等。这种情况下，攻击者可以通过修改物理环境来生成对抗性样本。
• 对抗性样本的传递性：如果一个深度学习系统被训练用于处理对抗性样本，那么它可能会将正常数据也误分类为对抗性样本。这种情况下，一个已经被攻破的模型可能会成为其他模型的威胁。

对抗性防御方法

为了提高模型的鲁棒性，研究人员提出了一些防御方法。抵御对抗性攻击的方法有很多种，例如对抗训练、防御性降维、随机化防御等。其中，对抗训练是目前应用最广泛的一种方法。在对抗训练中，模型会被迫学习如何处理对抗性样本，从而提高其鲁棒性。但是，对抗训练也存在一些问题，例如需要大量的计算资源和时间，并且可能会导致模型过度拟合等。

对抗性防御方法包括但不限于：

• 对抗训练：在训练深度学习模型时，将对抗性样本加入到训练数据中，以提高模型的鲁棒性。
• 随机化输入：在输入数据中添加一些随机噪声或扰动，以增加攻击者生成对抗性样本的难度。
• 梯度掩码：通过对梯度进行掩码或过滤，以减少攻击者生成对抗性样本的成功率。
• 模型融合：将多个深度学习模型进行融合，以提高整体系统的鲁棒性和安全性。
• 神经网络剪枝：通过删除一些冗余的神经元或连接来减少模型的复杂度和脆弱性。
• 对抗检测：使用一些特定的检测方法来识别和过滤对抗性样本。

每种防御方法的优缺点简要总结

• 对抗训练：优点是易于实现，可以提高模型的鲁棒性；缺点是需要大量的对抗性样本来训练，可能会导致过拟合和性能下降。
• 随机化输入：优点是可以增加攻击者生成对抗性样本的难度；缺点是可能会影响模型的准确性和效率。
• 梯度掩码：优点是可以减少攻击者生成对抗性样本的成功率；缺点是可能会影响模型的准确性和效率。
• 模型融合：优点是可以提高整体系统的鲁棒性和安全性；缺点是需要多个模型进行融合，可能会增加系统复杂度和计算成本。
• 神经网络剪枝：优点是可以减少模型的复杂度和脆弱性；缺点是需要进行复杂的剪枝操作，并且可能会影响模型的准确性。
• 对抗检测：优点是可以识别和过滤对抗性样本；缺点是需要额外的检测模块，并且可能会影响系统效率。

需要注意的是，每种防御方法都有其适用范围和局限性，没有一种方法能够完全解决所有类型的对抗攻击。因此，在实际应用中，需要根据具体情况选择合适的防御方法。

参考文献：Chakraborty, Anirban, et al. “Adversarial attacks and defences: A survey.” arXiv preprint arXiv:1810.00069 (2018).