跨学科合作共筑智能未来，ISC.AI 2024人工智能安全趋势发展论坛顺利召开

今年是大模型的应用之年、场景之年，大模型开始赋能各行各业。360集团智脑总裁张向征在致辞中表示，随着大模型应用广度的拓展，带来的安全风险和威胁也越来越多。希望借本次论坛聚集企业界、学术界的专家力量进一步完善人工智能和大模型相关的安全技术、理论、治理方法、原则等，推动人工智能更安全地应用以及在各行各业的安全发展。

当前，人工智能大模型从判别式模型向生成式模型转变，从单模态向多模态演化。中国科大网络空间安全学院执行院长俞能海在演讲中从数据采集与处理、模型训练与测试、内容生成服务三个维度展开了讨论，并强调了人工智能安全的重要性。他表示，人工智能大模型安全的研究是一个持续的过程，需要学者和同行共同努力，以确保人工智能的安全发展，最终为社会提供成熟、可靠的产品和服务。

世界各国高度重视人工职能大模型的进展，并纷纷出台相关政策和法律法规，以预防未来可能出现的潜在安全风险。360集团AI安全实验室主任邹权臣在演讲中提出，大模型系统在落地应用过程中面临四类主要安全问题：模型环境漏洞、生成恶意内容、生成错误信息和Agent流程失控。他表示，为了应对以上问题，构建企业级大模型时应遵循安全、向善、可信、可控四大原则。目前，360大模型安全方案提供灵活的部署方式，包括私有化、混合云和公有云，能够满足不同企业的需求。

近年来，ChatGPT大语言模型等相关内容引发了在个人层面、社会层面还有国家层面的安全和隐私风险。西安交通大学二级教授、副处长沈超在演讲中强调，针对于大平台的隐私，应主要从确保安全可靠，透析机理本质，拓宽应用场景这三个方面来考虑。“我们的目标是让大模型能够更好、更安全、更可靠、更可持续的发展，要关注大模型在完整性、可靠性方面存在的问题，以及在数据模型应用方面存在的安全隐私的挑战。”他谈到。

大模型技术特别是AIGC，正在改变内容生成、人机交互和行业生产方式，但同时也带来了可控性的挑战。中国信通院人工智能研究所安全部主任石霖在演讲中指出，大模型的安全风险不仅局限于技术本身，还扩展到个人、群体和整个人类社会层面，包括电信欺诈、学术不端和黑灰产滥用等问题。通过基准测试，中国信通院不仅揭示了商用和开源模型在安全防护方面的差异，还帮助企业发现并加固安全问题，推动了产业界的安全水平提升。

随着模型规模的增大，算力需求和训练成本也在增加，但模型的使用似乎越来越便宜，开源与闭源模型的能力正在接近。北京阿莱门科技有限公司，CEO北京大学人工智能安全与治理中心领先研究员，北大(临港)大模型对齐中心执行主任徐骅在演讲中表示，大模型的安全性追求可能导致其在处理敏感内容时过于谨慎，影响其有用性。现有的关键词过滤技术可能导致大模型在处理不敏感但包含关键词的内容时表现不佳。随后，他提出了Aligner技术，一个外挂式的小模型，可以修正大模型的输出，提升安全性和有效性的同时保持性能。

在数字化转型过程中，安全领域面临产品协同、安全能力、运营效率和专业人才方面的挑战。360数字安全集团网络安全资深专家杨波在演讲中表示，安全领域的大模型需要依托于高质量、专业的安全数据。360提出以数据为基础，结合小切口大纵深、类脑分区协同和工具增强的技术路线，并依托360丰富的安全知识和算力资源，结合大模型技术，以实现安全防护和运营智能化水平的提升。

未来AI安全威胁可能更多地表现为传统安全威胁与新型AI攻击的复合型攻击。华为可信AI安全解决方案专家唐文在演讲指出，面对这些挑战，法规的制定和实施显得尤为重要，欧盟的《人工智能法》可能会成为推动全球AI安全标准发展的范例。针对新型AI攻击，华为提出了用AI保护AI的概念，通过训练专门的AI模型来检测和过滤对抗样本攻击，展现了一种创新的安全防护思路。

随后，在由邹权臣主持的“人工智能安全趋势研讨”圆桌对话环节中，以上演讲嘉宾围绕数据合规性、大模型的测评挑战、安全与性能的平衡、Agent测评和安全策略、大模型应用中的幻觉问题、未来AI大模型安全的发展趋势等内容，各自发表了观点。

 本次论坛的成功举办为各界专家学者搭建了交流平台，通过跨学科、跨行业的深入对话，为应对AI安全挑战提供了多样化的解决路径，加速了安全技术的创新与发展。不仅为人工智能安全领域的发展注入了新的动力，也为构建更加安全、可靠、负责任的人工智能未来奠定了坚实的基础。