根据Adversa的最新研究，AI行业还没做好防御黑客对AI系统攻击的准备。

  近日，微软宣布开源了一种AI系统的安全测试工具——Counterfit。微软最初开发该工具来测试自己的AI系统的安全性，在评估其漏洞之后，微软决定开源Counterfit，以帮助组织验证他们使用的AI算法是否“健壮、可靠且让人信服”。

  Counterfit最初是为针对单个AI模型编写的攻击脚本的集合，但Microsoft却将其变成了自动化工具，可以大规模攻击多个AI系统。

  “今天，我们常规地将Counterfit用作我们的AI红队运营的一部分。我们得知，自动化MITRE的Adversarial ML威胁矩阵中的技术并将其与Microsoft自己的生产环境AI服务进行重放以主动扫描特定于AI的漏洞很有帮助。微软公司的Azure Trustworthy ML团队的Will Pearce和Ram Shankar Siva Kumar解释说：“我们在AI开发阶段就导入Counterfit，以在AI系统中的漏洞投入生产之前发现它们。”

  Counterfit是一种命令行工具，可以在云中或本地安装和部署。该工具与环境无关：评估后的AI模型可以托管在本地或边缘的云环境中。

  “该工具将其AI模型的内部工作抽象化，以便安全专业技术人员可以专注于安全评估。Counterfit使安全社区可以访问已发布的攻击算法，并有助于提供一个可扩展的接口，通过该接口可以开发、管理和发起对AI模型的攻击。”

  Counterfit还能够适用于渗透测试和红队AI系统（利用预加载的已发布攻击算法），扫描其中的漏洞并进行日志记录（记录针对目标模型的攻击）。

  Counterfit的另一个优点是可以在使用不相同数据类型（文本、图像或通用输入）的AI模型上运行。

  在开放源代码之前，Microsoft已要求大型组织、中小企业和政府组织中的合作伙伴针对其环境中的ML模型对该工具来测试，以确保它能够完全满足每个人的需求。

  MITRE在最近的报告中指出：“过去三年中，包括谷歌、亚马逊、微软和特斯拉等公司的机器学习系统都曾被欺骗、绕过或误导，此类攻击将来只会慢慢的多。”