安全知识分享(含答案)-长期更新

数据投毒攻击（Data Poisoning）如何影响模型？举一个例子

攻击者通过污染训练数据（如插入带有错误标签的样本），导致模型在测试时出现偏差。例如在垃圾邮件分类器中注入正常邮件标记为垃圾邮件的数据。

成员推理攻击（Membership Inference Attack）的原理是什么？

通过模型输出（如预测置信度）推断某条数据是否属于训练集，可能泄露用户隐私。例如判断某患者的医疗记录是否被用于训练疾病预测模型。

对抗训练（Adversarial Training）如何提升模型安全性？其局限性？

在训练时加入对抗样本，增强模型对扰动的鲁棒性。局限性包括计算成本高、可能导致泛化性下降，且对未知攻击类型防御效果有限。

差分隐私（Differential Privacy）如何保护AI模型隐私？

通过向训练数据或模型参数添加噪声，确保单个数据点的变化不会显著影响输出结果，从而防止数据泄露。

生成式AI（如ChatGPT）可能被滥用的场景及防御措施

滥用场景包括生成虚假信息、钓鱼邮件、深度伪造（Deepfake）等。防御措施包括内容水印、输出过滤、用户身份验证等。

模型可解释性（Interpretability）与AI安全的关系

可解释性帮助开发者理解模型决策逻辑，识别潜在偏见或漏洞（如依赖敏感特征），从而改进安全性和公平性。

如何检测一个图像分类模型是否遭受了后门攻击（Backdoor Attack）？

方法包括：① 分析模型对特定触发模式（如特定图案）的异常高响应；② 使用干净数据测试模型表现，对比触发样本的准确率差异；③ 模型逆向工程寻找隐藏的后门特征。

联邦学习（Federated Learning）中可能存在哪些安全问题？如何防御？

安全问题包括客户端数据投毒、模型参数泄露、中间梯度反推原始数据等。防御手段包括梯度裁剪、加密聚合（Secure Aggregation）、异常检测等。

Ollama DeepSeek本地化部署有什么风险？

模型删除例如，通过接口删除模型。

模型窃取通过接口查看ollama模型。ollama支持自定义镜像源，自建一个镜像服务器，再通过接口就能轻松窃取私有模型文件。

算力窃取通过接口查看ollama模型。之后便能用请求对话，窃取了目标机器的算力。

模型投毒可以通过接口查看正在运行的模型，接着可以用下载有毒的模型，通过删除正常模型，再通过接口迁移有毒模型到正常模型路径，通过有毒模型污染使用者的对话。

远程命令执行漏洞 CVE-2024-37032ollama在去年6月爆发过严重的远程命令执行漏洞【CVE-2024-37032】是Ollama开源框架中一个严重的路径遍历漏洞，允许远程代码执行（RCE），CVSSv3评分为9.1。该漏洞影响Ollama 0.1.34之前的版本，通过自建镜像伪造manifest文件，实现任意文件读写和远程代码执行。