原文：
www.kdnuggets.com/2022/03/adversarial-machine-learning.html
Clint Patterson via Unsplash
随着机器学习（ML）的不断发展，我们的社会在现实世界中越来越依赖其应用。然而，我们对机器学习模型的依赖程度越高，对抗这些模型的漏洞也就越多。
1. 谷歌网络安全证书 - 快速进入网络安全职业生涯。
2. 谷歌数据分析专业证书 - 提升你的数据分析能力
3. 谷歌 IT 支持专业证书 - 支持你的组织进行 IT 工作
“对手”的字典定义是：
“一个与之争斗、对抗或抵抗的存在”
在网络安全领域，对抗性机器学习试图通过创建独特的欺骗性输入来欺骗和扰乱模型，从而导致模型功能失常。
对手可能会输入意图破坏或更改输出的数据，并利用其漏洞。我们无法通过肉眼识别这些输入，但它会导致模型失败。
在人工智能系统中，存在不同形式的漏洞，如文本、音频文件和图像。进行数字攻击要容易得多，例如仅通过操控输入数据中的一个像素，这可能会导致错误分类。
要高效地训练机器学习模型并生成准确的输出，你需要大量标记的数据。如果你没有从可靠来源收集数据，一些开发者会使用来自 Kaggle 或 GitHub 的数据集，这些数据集可能存在潜在的漏洞，从而导致数据中毒攻击。例如，有人可能篡改了训练数据，影响了模型生成正确和准确输出的能力。
对抗性攻击有两种不同的类型：白盒攻击和黑盒攻击。
白盒攻击是指攻击者对目标模型拥有完全访问权限，包括模型的架构和参数，这使他们能够在目标模型上创建对抗样本。白盒攻击者只有在测试模型时才会拥有这种访问权限，作为开发者，他们对网络架构有详细了解。他们了解模型的内外，并基于损失函数制定攻击策略。
黑盒攻击指的是当攻击者无法访问目标模型，只能检查模型的输出。他们通过查询访问生成对抗样本。
存在不同类型的对抗性攻击。
在训练阶段对机器学习模型的攻击被称为“投毒”或“污染”。这需要攻击者能够访问或控制训练数据，根据我们的理解，这被称为白盒攻击者。
攻击者向分类器输入错误标记的数据，这些数据被他们视为无害，但却会产生负面影响。这将导致错误分类，未来产生不正确的输出和决策。
攻击者可以利用他们对模型输出的理解来操控模型，尝试逐步引入减少模型准确性的数据显示，这被称为模型偏斜。
例如，搜索引擎平台和社交媒体平台内置了使用机器学习模型的推荐系统。攻击者通过使用虚假账户分享或推动某些产品或内容来操控推荐系统，从而改变推荐系统的效果。
规避攻击通常发生在机器学习模型已经被训练完毕且新数据已被输入的情况下。这也被称为白盒攻击，因为攻击者可以访问模型并使用试错过程来理解和操控模型。
攻击者对模型的知识有限，不知道哪些因素会导致模型失效，因此使用试错过程。
例如，攻击者可能会调整一个过滤垃圾邮件的机器学习模型的边界。他们的方法可能是实验那些模型已经被训练用来筛选并识别为垃圾邮件的邮件。
如果模型已经被训练以过滤包含“快速赚钱”等词语的邮件；攻击者可能会创建包含这些词语相关或非常相似的新邮件，从而绕过算法。这会导致本应被分类为垃圾邮件的邮件不再被识别为垃圾邮件，从而削弱了模型的效果。
然而，还有更恶意的原因，例如攻击者使用自然语言处理（NLP）模型获取和提取个人信息，如身份证号码，导致更多的个人攻击。
黑盒攻击的一种形式是模型提取。攻击者无法访问模型，因此他们的过程是尝试重建模型或提取输出数据。
这种类型的攻击在那些高度保密且可以变现的模型中尤为突出，例如提取股票市场预测模型。
一个黑箱攻击的例子是使用图神经网络（GNN），它们被广泛用于分析图结构数据，例如社交网络和异常检测。GNN 模型是有价值的资产，成为对手的吸引目标。
数据的所有者训练了一个原始模型，对手则接收一个模仿原始模型的另一个模型的预测。对手可能会对这些输出按查询付费的方式向他人收费，从而复制模型的功能。这本质上允许对手通过使用持续调优的过程来重建模型。
以下是公司应实施的两种简单方法，以避免对抗攻击。
对抗训练是一种提高机器学习效率和防御的方法，即对其生成攻击。我们简单地生成大量对抗样本，并允许系统学习潜在的对抗攻击是什么样的，帮助它建立自己的对抗攻击免疫系统。通过这种方式，模型可以通知或不被每一个对抗样本欺骗。
持续更改机器学习模型中使用的算法将为对手创造定期的阻碍，使他们更难破解和学习模型。做到这一点的一种方法是通过试错法破坏自己的模型，以区分其弱点并了解所需的改进，以减少对抗攻击。
很多公司正在投资人工智能技术，以现代化其解决问题和决策的能力。国防部（DoD）尤其受益于人工智能，在数据驱动的情况下可以提高意识并加快决策速度。DoD 承诺增加对人工智能的使用，因此必须测试其能力和局限性，以确保人工智能技术符合正确的性能和安全标准。然而，这是一项重大挑战，因为人工智能系统可能不可预测并适应行为。
我们必须更加警惕和理解与机器学习相关的风险以及数据被利用的高概率。投资和采用机器学习模型及人工智能的组织必须纳入正确的协议，以减少数据损坏、盗窃和对抗样本的风险。
**尼莎·阿娅**是一名数据科学家和自由技术作家。她特别关注提供数据科学职业建议或教程以及围绕数据科学的理论知识。她还希望探索人工智能如何/可以有利于人类寿命的不同方式。作为一个热衷的学习者，她寻求拓宽自己的技术知识和写作技能，同时帮助指导他人。