当心 | AI 幻觉包愚弄了毫无戒心的开发人员

根据生成型人工智能安全初创公司 Lasso Security 的一份新报告，依赖人工智能聊天机器人构建应用程序的软件开发人员最终可能会使用幻觉包。

Lasso 的 Bar Lanyado继续去年的研究，再次展示了如何使用大型语言模型 (LLM) 工具来传播不存在的软件包。

他去年警告说，威胁行为者可以了解这些幻觉软件包的名称，并创建具有相同名称的恶意软件包，并可以根据人工智能聊天机器人的建议进行下载。

为了扩大研究规模，Lanyado 使用 Langchain 框架进行交互，询问了四种不同的模型，即 GPT-3.5-Turbo、GPT-4、Gemini Pro（以前的 Bard）和 Coral（Cohere），提出了超过 40,000 个“如何”问题。

为了检查幻觉的重复性，研究人员使用了 20 个零样本幻觉问题（模型在第一个答案中推荐了幻觉包）。

所有聊天机器人都产生了超过 20% 的幻觉，其中 Gemini 的幻觉达到了 64.5% 的峰值。重复率约为 15%，Cohere 的峰值为 24.2%。

然而，这项研究最令人担忧的方面是，研究人员上传了一个空包，根据人工智能的建议，该包已被下载超过 30,000 次。此外，发现同一软件包被几家大公司使用或推荐。

“例如，安装此软件包的说明可以在专门用于阿里巴巴进行研究的存储库的自述文件中找到，”研究人员解释道。

Lanyado 指出，这项研究强调，当从LLM那里收到不确定的答案时，特别是在软件包方面，不需要进行交叉验证。

Lanyado 还建议开发人员在依赖开源软件时要小心，尤其是在遇到不熟悉的软件包时，敦促他们在使用之前验证该软件包的存储库并评估其社区和参与度。

“此外，请考虑它的发布日期，并留意任何可疑的内容。在将该软件包集成到生产环境之前，请谨慎执行全面的安全扫描。”Lanyado 指出。