第42期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

1.利用潜在对抗性训练防御未知的故障模式

简介：AI系统在实际应用中可能会展现出开发者未能预见的负面行为，尽管已经进行了彻底的检查和修正。面对众多潜在的攻击手段，全面检测和防范变得极为困难。为了提高AI系统的稳定性，红队测试和对抗性训练被广泛采用，但这些方法并不能完全避免实际应用中的失败。本研究提出了一种创新方法——潜在对抗性训练（LAT），旨在防御那些在不生成特定输入的情况下不易被发现的漏洞。通过在图像和文本分类以及文本生成任务中的实验，研究者验证了LAT的有效性，结果表明LAT在提高系统鲁棒性和性能方面通常比传统对抗性训练更为有效。这显示了LAT在防御开发者未能明确识别的风险方面的潜力。

链接：

https://arxiv.org/pdf/2403.05030.pdf

2.ISSF：面向云原生运营的智能安全服务框架

简介：随着微服务架构的普及和AI技术在攻防双方的应用，云原生环境的安全挑战日益增加。云原生操作者需要全面掌握云环境的动态安全状况。本研究基于多智能体深度强化学习，开发了一套智能安全服务框架（ISSF），用于云原生操作。该框架通过动态访问图和动作模型，模拟云环境并表示攻防行为。研究者还提出了一种方法，利用多种深度强化学习算法和策略，训练、发布和评估智能安全服务，促进服务的系统化开发和性能比较。实验结果表明，该框架能有效模拟云系统的安全态势，为攻防双方提供服务开发和优化指导。

链接：

https://arxiv.org/pdf/2403.01507.pdf

3. 使用大语言模型进行物联网设备标签化

简介：物联网市场包含多种设备和功能，安全和可观测性系统需实时管理这些设备。现有物联网识别技术依赖于训练阶段已知的设备标签。研究者提出了一种新方法，通过分析网络流量中的文本特征，并结合谷歌搜索数据和供应商目录，自动识别未知物联网设备的供应商和功能。该方法利用大语言模型自动更新设备目录，并实现零样本分类。在对97种设备的测试中，研究者的方法在功能识别上取得了0.7和0.77的准确率，这是首次尝试自动化物联网设备标签化的研究。

链接：

https://arxiv.org/pdf/2403.01586.pdf

简介：近期，众多公司将生成式AI（GenAI）技术整合到应用中，形成了由GenAI服务驱动的自主代理生态系统。尽管研究已经指出了GenAI代理层的风险，如对话投毒等，但攻击者可能利用GenAI组件发起网络攻击的问题仍然存在。为此，本文介绍了首个针对GenAI生态系统的Morris II蠕虫，它利用对抗性自我复制提示，使GenAI模型在处理输入时复制并执行恶意活动，同时通过生态系统的连接性传播给其他代理。研究者在不同环境下对三种GenAI模型进行了Morris II蠕虫的测试，评估了其传播和复制等性能因素。

链接：

5.构建一个AI增强的网络威胁情报处理流程

简介：随着网络威胁日益复杂，传统的网络威胁情报（CTI）方法难以应对。人工智能（AI）提供了自动化和增强CTI任务的可能性，从数据处理到弹性验证。本文探讨了将AI融入CTI的潜力，提出了一个AI增强的CTI处理流程，并详细说明了其组成和功能。该流程强调了AI与人类专家合作的重要性，以产生准确及时的网络威胁情报。同时，研究了利用AI自动生成缓解措施，提供实时、相关和预测性见解。然而，AI在CTI中的整合面临伦理、偏见和透明度等挑战。研究者讨论了数据隐私、用户同意和技术滥用的问题，并强调了在CTI分析和AI模型中处理偏见的重要性。最后，本文指出了未来研究方向，如开发先进的AI模型增强网络安全防御和优化人机协作。总体而言，AI与CTI的结合在网络安全领域具有巨大潜力。

链接：

https://arxiv.org/ftp/arxiv/papers/2403/2403.03265.pdf