三步获取GPT源码

免责声明：

本公众号致力于安全研究和红队攻防技术分享等内容，本文中所有涉及的内容均不针对任何厂商或个人，同时由于传播、利用本公众号所发布的技术或工具造成的任何直接或者间接的后果及损失，均由使用者本人承担。请遵守中华人民共和国相关法律法规，切勿利用本公众号发布的技术或工具从事违法犯罪活动。最后，文中提及的图文若无意间导致了侵权问题，请在公众号后台私信联系作者，进行删除操作。

0x01 CVE-2023-29374 案例

GPT4在去年七月份发布官宣了新品-代码解释器，官方说法为代码解释器可以访问用户上传的文件，实现分析数据、创建图表、编辑文件、执行数学运算等复杂操作。由于是在gpt本身运行代码，也带来了一定的安全风险。

LLM模型典型的安全漏洞，使用 0.0.131 及之前版本的 Langchain，并调用 Langchain LLMMathChain 链的程序，存在包含任意命令执行的安全风险，可能导致 OpenAI key 等敏感信息泄漏、Langchain 服务端被控等问题。比如用户输入任意python代码，该开发框架会自动根据用户的输入进行执行并输出，这就导致了命令执行。

总的来看，CVE-2023-29374 的问题在于 Langchain 并没有对数据进行处理就直接交给了敏感函数，虽然触发代码执行的数据是由大语言模型返回的，但用户可以通过 Prompt engineering 来控制大语言模型的输出，进而触发该漏洞。

0x02 第一步：命令执行寻找文件

用解释器运行的说法绕过安全限制（也就是等于让gpt自行生成python代码，然后自我运行并且自我输出），让容器执行命令。

自行生成的代码为

确认sandbox中的代码内容

通过确认需要打包的文件，随即进入第二步。

0x03 第二步：压缩打包文件

尝试直接进行打包文件，并且让gpt提供给我们下载的链接。

给了一串假的下载链接，但是可以知道该压缩文件存放在的绝对路径。

再用ls -al检查确认一下是否压缩完成

0x04 第三步：输出源文件

压缩包无法直接下载，这边选择通过把压缩包转换为16进制的字符串，并且在最后进行还原。

于是让gpt开始工作

大概运行16次即可完整的获取zip的内容。

最后进行十六进制转换为zip文件，可完整获取里面的文件内容。

0x05 总结

大模型组件的安全性令人担忧，在日常使用这些组件和应用时，我们应该对输入和输出保持高度警惕，做好过滤，以避免产生安全问题。

随着以Langchain为基础的各类大模型应用在日常生活中的普及，AI技术在生产生活中的安全问题也会迅速扩大。我们通常认为算法安全和模型安全带来的实际风险较低，但当这些问题与AI相关的基础软件和应用的安全问题结合起来后，就需要我们给予更多的关注。因此，根据不同的场景和风险类型进行安全加固，是保证AI各类应用能够稳定、良好运行的前提条件。