【业界动态】大模型的安全与隐私青年科学家沙龙在京举行

2024年7月11—12日，第二十六届中国科协年会北京学术周期间，中国电子学会承办的“大模型的安全与隐私”青年科学家沙龙在北京举办。来自高校、科研院所和企业的30余名青年科技工作者现场参加交流研讨。中国电子学会期刊发展处副主任宋甲英致辞并为执行主席和学术秘书颁发证书。

主旨报告环节由沙龙执行主席、电子科技大学教授陈厅主持。首先，西安交通大学特聘研究员蔺琛皓作了《AI大模型的安全可信研究-从小模型到大模型》报告，面向AI模型的安全可信问题，从数据输入、模型训练、模型输出、多任务应用等多个角度介绍了AI模型的安全可信技术。青年科学家针对传统小模型与大模型的区别、创新性的体现以及大模型的安全与隐私的研究内容等问题展开讨论。

浙江大学百人计划研究员张治坤在《大模型训练数据溯源与审计》报告中，介绍了大模型安全可信方面的八个重点研究方向，包括真实性、安全性、公平性、鲁棒性、数据隐私、机器伦理、透明性以及可审计性。随后针对大模型训练数据溯源与审计方面的相关工作进行介绍，详述了大模型训练数据溯源与审计对于保护用户及公司版权的重要性，并介绍了团队在人脸识别系统，离线强化学习系统以及文生图模型方面的训练数据审计相关工作。与会青年科学家们针对大模型在图片生成中涉及到的版权问题、商用审计等进行讨论。此外，与会专家从不同角度分析讨论了如何检测图片文本内容是大模型生成的，以及如何判断生成的内容是复合预期的等问题。

阿里安全资深算法专家黄龙涛作《大模型时代的算法治理与实践》报告，介绍了顺应技术理性的人工智能风险认知视角，梳理了从IT到DT，再到AI时代，技术发展的风险演进。从安全评估、内生安全和外部防护三个方面分析了大模型的安全问题，并介绍了行业目前的大模型安全技术方案。剖析了大模型在发展过程中可能出现的潜在风险和大模型安全治理过程中面临的新挑战，详细阐述了全链路大型模型安全治理的方法，并展望了未来重点安全课题。与会青年科学家针对报告中的大模型监管评测、常识库等问题各抒己见。黄龙涛从“内生+外层”两个维度详细介绍了业界对于大模型的监管应用防范。

专题讨论环节青年科学家积极发言，各抒己见，气氛热烈。中国人民大学王希廷、南京理工大学宫辰、电子科技大学刘栋骁、北京邮电大学郑霄龙、北京交通大学高睿鹏作引导发言。与会专家针对大模型的安全与隐私进行开放性讨论，讨论的结果具体有，大模型和传统AI的界定还需进一步讨论；大模型安全的研究内容包含内在技术安全和外在应用安全两方面；当前大模型的推理源于数据驱动，与人脑思维还有差距；生成式人工智能的使用应当有相应的管理办法，生成内容的检测与具体应用场景和技术手段有很大关系；大模型的可解释性与可预测性同等重要；大模型的安全问题与应用场景有密切关系等。与会青年科学家都积极发言、深入交流、广泛提问。

沙龙活动后，与会青年科技工作者赴中国科学院自动化研究所多模态人工智能系统全国重点实验室参观交流，实地考察大模型在安全隐私领域的应用，就进一步推动大模型技术创新发展交流探讨。此次沙龙为大模型和安全领域青年科学家搭建了交流互动的平台，为碰撞新观点、激发创新灵感提供了宽松、自由、平等的交流环境。

（来源：中国电子学会）