AI真的能帮红队的忙吗？

“红队”即通过模拟攻击找到漏洞的信息安全专业人员。这种技术常被用于测试生成式AI应用的运作，通过大量提示轰炸生成式AI应用，寄望于AI能够生成需要开发人员修复的有问题的结果。

红队在测试也在使用AI。5月份，IBM公司的红队表示，他们通过AI分析了一家大型IT制造商的IT资产，在一个HR门户中发现可导致大规模访问权限的漏洞。他们认为，AI缩短了发现和利用该漏洞的时间。

最近，在印度尼西亚举办的 Canalys 亚太论坛上，专家组就红队使用并依赖AI的情况，以及更重要的合法性问题展开了讨论。

IBM的亚太生态系统首席技术官 Purushothama Shenoy 认为，在红队中使用AI有助于“自身以更加道德的方式破解系统”。他预测，AI将通过搜寻多种数据投喂、应用和性能数据的其它来源，以及将其作为大规模自动化流程的一部分，加速威胁捕获工作。但Shenoy 表示，他担心随着AI使用者构建了这些系统和其它AI应用，他们将犯下无法停下来思考相对应风险的常见错误。

安全商店eSentire的亚太销售合作伙伴生态系统总经理 Mert Mustafa 提到，“它将取代一些人类的任务，但不能过度依赖。”

分销商Synnex 公司澳大利亚运营处云部门的主管 Kuo Yoong 提醒称，生成式AI通常不会详细说明它是如何生成输出的，因此导致红队难以解释其操作或者难以通过法律或道德为这些操作辩护。

Yoong 解释称，“AI无法到听证席上届时是如何通过那些活动找到威胁的。”犯罪分子不必担心法律问题，因此将可能使用AI为其攻击赋能。

专家们认为AI将“变革”网络安全。

Mustafa 认为，“我们将不得不越来越多地使用它。”另外一名专家 Galaxy Office Automation的网络安全和联网总监 Nishant Jalan 认为，应该在网络安全中提出对生成式AI使用的限制来阻止过度使用。他还提议通过法律法规和政策的方式进行治理。

生成式AI已经足够成熟到可用于红队的程度了吗？

Canalys 公司的分析师 matthew Ball 表示，“在安全运营中使用生成式AI尚处于早期阶段。用例会发生改变，出现新的情况。”该公司将在明年对该主题进行更多研究。

网络安全公司Acronis的首席信息安全官Kevin Reed指出，AI尚未准备好加入红队，但可能适合于其表兄渗透测试人员。Reed 提到，“渗透测试关注于在系统或网络中找到漏洞，测试技术控制通常非常直接，而红队更多的是关于组织控制和保持不被检测到的状态，而大语言模型还没做好储备，它们更适合于渗透测试。”他发现一些集成AI的渗透测试已经成功地在多阶段攻击的某些阶段运行命令，不过在完全自动化方面还未完善。他提到，“我认为现阶段的大语言模型还没有足够的内存处理所有所需的上下文。”

提到合法性时，聚焦技术的律所 Reed Smith 的合作伙伴 Bryan Tan 认为，需要提问的相关问题是，谁为开展渗透测试的生成式AI担责？

他认为这种责任应当由提供渗透测试服务运营商负责。

他提到，“这意味着运营商（不管是公司还是员工）应该是需要回答这些问题的一方。”因此运营商需要确保AI所做的工作内容是什么，或者至少对此进行解释，保证透明度和可解释性。

对于AI法规，他认为“目前尚处于理论阶段”。他还指出，很多国家目前正在规范渗透测试，意味着这些法律可能最终会有涉及AI的一天。