Jeddak隐私安全方案亮相Intel Innovation 2023

9月20日，Intel Innovation 2023在美国加州圣何塞落下帷幕，作为 Intel 专注于未来创新的年度开发者会议，Intel CEO出席并做主题演讲。本次大会聚焦在人工智能、云计算等领域最新技术，展示了这些领域软硬件技术的突破，致力于激发全球开发者探索创新，与合作伙伴共建强大的生态圈。

在这次峰会上，字节跳动安全研究团队联合Intel BigDL、机密容器团队提出的面相大语言模型隐私安全领域的Jeddak数据安全沙箱（Jeddak Sandbox）Sandbox-LLM首次亮相，展现了大模型场景下模型部署、精调和推理过程的安全能力，并提供了用户可交互体验的原型系统演示。

大语言模型（Large Language Model，LLM）的发展带动了以GPT为代表的各类现象级应用，在互联网、金融等领域都展现出潜力和价值。目前LLM应用会基于第三方云平台来孵化模型服务，解决算力瓶颈问题，但这种应用场景中的安全风险，也引发了多方的担忧。具体包括：

• 推理用户：在使用LLM的过程中，其个人信息、偏好等敏感数据，面临被盗用或滥用风险；

• 模型提供商：在模型的精调和部署过程中，其数据及模型，面临着被泄露的风险；

• 云供应商：平台方从安全和隐私角度出发，迫切需要建立与推理用户、模型提供商之间的互信机制。

• 云原生 TEE 能力：Sandbox-LLM结合了基于Kata Container的机密容器能力，通过实现强隔离机制、加密签名安全镜像、加密持久化存储，保障了运行时安全、镜像安全和数据的隐私性。

• 数据库安全保护：机密数据库可以用来加固模型服务过程中需要数据库辅助的执行流程，目前Sandbox-LLM支持多种异构数据库安全使用，包括大语言模型常用的向量数据库，从而保障数据在DB存储和使用阶段的安全。

• 模型&代码可验证：针对异构的TEE环境，Sandbox-LLM透明代码认证通过搭建校验基线生成、实时代码度量、远程证明服务等机制，为用户提供针对模型文件、服务代码、运行环境等维度的度量与一致性验证的能力。

• 安全密钥管理：Sandbox-LLM集成了基于TEE的可信密钥管理服务，实现了可双向验证的密钥托管与调用，保障了全生命周期的密钥安全。

• 模型操作安全：在涉及到使用模型进行部署和精调时，需要校验可信密钥服务可以保证后续的密钥输入和托管可信，使用模型密钥、镜像密钥等可以保证镜像代码安全和模型使用安全。

• 模型精调验证：在精调服务运行过程中，支持动态校验的方式来判断服务是否可信。用户可以获取精调服务返回的远程证明报告，通过检测精调服务确实运行在TEE环境并且度量值与预期一致，来确保服务的安全。

• 可信推理校验：类似的，在使用推理服务前，用户先进行校验，当验证通过之后才会进入推理环节，通过这种方式保证用户是与真实、可信的LLM推理服务交互数据。

• 可信数据删除：如用户不再需要使用历史会话，Sandbox-LLM支持会话记录的可信删除。在删除前，用户可以通过校验的方式确保数据删除服务处于可信状态。