第47期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

1.LLM代理可以自主利用0day漏洞

简介：近年来，大语言模型（LLMs）在正向和负面应用上的能力均有显著提升。研究人员开始关注这些模型在网络安全漏洞利用方面的潜力。尽管已有初步研究探讨LLM代理自动攻击网站的能力，但这些研究多局限于基本漏洞。最新研究表明，当提供CVE（常见漏洞和披露）描述时，GPT-4模型能够自主利用现实系统中87%的0day漏洞，包括被标记为临界严重的漏洞。相比之下，GPT-3.5、开源LLMs以及ZAP和Metasploit等开源漏洞扫描器在没有CVE描述的情况下，无法有效利用这些漏洞。然而，GPT-4在没有CVE描述时，其漏洞利用能力大幅下降至7%。这一发现引发了对高度智能LLM代理广泛部署可能带来的安全问题的担忧。

链接：

https://arxiv.org/pdf/2404.08144.pdf

2.超越随机输入：一种基于机器学习的硬件模糊测试方法

简介：ChatFuzz是一种创新的基于机器学习的硬件模糊测试工具，旨在克服传统硬件漏洞检测技术的局限。它利用大语言模型来解析处理器指令，并结合强化学习优化输入生成，以提高代码覆盖率。在RISC-V架构的RocketCore和BOOM核心的测试中，ChatFuzz显著提升了测试效率，短时间内实现了高覆盖率，超越了现有工具。ChatFuzz不仅检测到了已知漏洞，还发现了新漏洞，证明了其在提高硬件安全性方面的潜力。

链接：

https://arxiv.org/pdf/2404.06856.pdf

3.三明治攻击：针对LLMs的多语言混合自适应攻击

简介：本文探讨了大语言模型（LLMs）在广泛应用中遇到的挑战，尤其是在确保输出与人类价值观一致性和多语言处理能力方面。尽管采用了安全训练方法，但恶意行为者仍能操纵LLMs生成有害内容。此外，攻击者利用LLMs在不同语言中的性能差异，尤其是低资源语言的弱点，来产生有害响应。文章介绍了一种新型的“三明治攻击”，该攻击通过多语言混合输入操纵LLMs，实验显示它能在不同模型中引发有害和不一致的响应。这一发现强调了未来LLMs研究和开发需要更加关注安全性和韧性，以确保其正面服务于社会并减少滥用风险。

链接：

https://arxiv.org/pdf/2404.07242.pdf

4.Subtoxic问题：深入探讨在越狱尝试中大语言模型（LLM）回应的态度变化

简介：本文提出了一种新的研究方法，专注于对越狱提示更为敏感的问题集，以评估大语言模型（LLMs）的安全性和进行深入实验。该方法旨在克服增强的LLM安全措施所带来的限制。通过设计和分析这些问题，研究揭示了一种更有效的识别LLMs中潜在漏洞的方法，对LLM安全性的提升做出了贡献。这项研究不仅对现有的越狱技术提出了挑战，也增强了LLMs抵御潜在利用的能力。

链接：

https://arxiv.org/pdf/2404.08309.pdf

5.FuSeBMC AI：通过机器学习加速混合方法

简介：FuSeBMC-AI是一个将机器学习技术应用于软件测试的工具，它通过分析程序特征并利用先进的机器学习模型来优化测试策略。该工具结合了有界模型检查和模糊测试的优势，提高了在特定情况下的测试效果，并有效降低了资源消耗。FuSeBMC-AI的设计适应了软件测试的多样性和复杂性，能够生成高质量的测试用例，提高软件的稳定性和可靠性。这一工具的发展突显了机器学习在提升软件测试效率和精确性方面的巨大潜力，预示着软件测试自动化和智能化的新时代。

链接：

https://arxiv.org/pdf/2404.06031.pdf

编辑：Fancy