转自《人民政协报》
随着国家“人工智能+”行动的深入推进,人工智能产业持续壮大,数据显示,2024年我国人工智能核心产业市场规模已达到近7000亿元。随着大模型的广泛应用,今年将迎来智能体的大爆发,大模型将成为关键信息基础设施的核心组件,在各行各业承担起重要任务,不仅促进传统制造业“数转智改”,同时支撑具身智能等未来产业发展,助力打造新的科研范式。
党的二十大报告提出,推进国家安全体系和能力现代化,坚决维护国家安全和社会稳定。在席卷全球的人工智能浪潮中,如何应对人工智能风险、把握发展战略主动、有效维护和保障国家安全,是国家治理的重要议题。当GPT-5参数突破10万亿级,当脑机接口走进临床应用,AI安全将超越技术范畴,成为数字文明存续的基石。
风险与挑战并存,
大模型开启“潘多拉魔盒”
如果说互联网促成了信息革命,使人类进入了数字化时代,那么大模型的横空出世,则会带来一场智能革命,引领人类进入智能化时代。未来,大模型会席卷所有行业,重塑所有行业,成为新一轮工业革命的驱动引擎。而大模型想要发挥核心作用,推动经济社会全面发展,将在六大方向上充满潜力。
第一,人人普惠,人人智能,利用大模型提升办公效率,赋能企业降本提效;
第二,万物智能,大模型上终端,走进千家万户;
第三,赋能传统企业“数转智改”,细分场景打造专业化大模型,推动AI走进百行千业;
第四,赋能自动驾驶、具身智能等未来产业;
第五,带来科研新范式,改变基础科学、能源科学等研究方法;
第六,重塑安全,通过大模型应对AI时代安全新挑战。
2024是大模型场景之年,那2025年则是大模型应用之年,大模型应当在场景中发挥价值,其中,安全就是最重要、最基础的一个场景。作为打造新质生产力的核心引擎,人工智能大模型对传统产业数转智改、数实融合发挥出巨大的推动作用。与此同时,GPT也给人类打开了一个未知的“潘多拉魔盒”。360集团(以下简称“360”)创始人周鸿祎曾表示,作为一把“双刃剑”,人工智能带来的安全问题甚至不亚于核武器,是人类有史以来面临“最大的安全挑战之一”,远超过传统数字安全。
当前,关注大模型存在的安全风险已成为各界的重要共识。除了数据泄露、隐私保护等传统安全问题外,还有一些新的安全风险。
一方面,大模型一旦被恶意利用,会带来极大危害。在国家层面,境外黑客可以用大模型编写攻击代码等,针对能源、交通、通信等关键信息基础设施,发动具有隐蔽性和破坏力的攻击。在社会层面,黑灰产组织者、不法分子可以用大模型生成自动化攻击脚本,伪造声纹、人脸等窃取信息、实施诈骗,甚至导致虚假信息泛滥。
另一方面,大模型因为自身特性,面临数据污染、幻觉、提示注入攻击等问题。如果大模型训练数据被污染或投毒,可能会输出带有偏见、错误或有害的内容。在医疗、法律等关键领域,对输出内容的专业性、准确性、可靠性要求极高,大模型一旦产生幻觉,就可能导致严重后果。另外,通过提示注入攻击,也可以干扰或控制大模型的输出。近期国外组织了一场聊天机器人安全挑战赛,一名黑客仅通过文字提示,就成功“骗取”了47000美元。
2024年,360发布了全球首份《大模型安全实践报告》,从模型层安全、框架层安全以及应用层安全三大维度探查安全问题,并对多个开源项目进行代码梳理和风险评估,最终审计并发现了近40个大模型相关安全漏洞,影响范围覆盖llama.cpp、Dify等知名模型服务框架,以及Intel等国际厂商开发的多款开源产品。
“以模制模”,探索AI安全新解法
安全是发展的基础,作为工业革命级别的技术力量,只有保障大模型健康、可持续发展,才能释放出赋能新质生产力的巨大价值。随着DeepSeek-R1等开源模型的广泛应用,安全问题也会越来越突出。周鸿祎认为,用传统安全思路无法解决AI带来的安全问题,必须用AI重塑安全。
作为兼具数字安全和AI双重能力的科技企业,360不仅较早关注大模型安全风险,同时基于深厚的全栈大模型底层技术、世界上规模居首的安全知识库、亚洲居冠的高级安全专家团队和多领域全覆盖强实战的安全场景能力,打造了国内首个安全大模型——360安全大模型,通过“以模制模”理念,利用AI大模型来检测和防范大模型可能出现的安全风险,既解决了传统网络安全问题,又为攻克AI安全新挑战提供了可行性方案。
目前,360安全大模型构建了包括攻击检测、运营处置、追踪溯源、知识管理、数据保护、代码安全等多个智能化安全数据专家,测评显示,其安全垂直能力已处于行业头部水平。
去年9月,在由《中国信息安全》杂志社、中国信通院人工智能研究所、中国移动通信集团信安中心联合承办的CCS2024成都网络安全大会“AI+网信安全”技术交流会上,首批“安全大模型基础网络安全能力评估证书”正式颁发。360凭借领先的技术优势和服务能力成功入选,成为首批获证的七家企业之一,同时获授中国人工智能产业发展联盟《安全大模型能力要求与评估方法 第1部分:总体框架》核心参编单位。
同时,360安全大模型还通过了中国信息通信研究院和泰尔实验室“安全大模型智能威胁检测、智能安全运营、智能知识问答”三大能力检验并获得证书,360也成为首家通过安全大模型技术应用能力评估的安全企业。
全球IT市场研究和咨询公司IDC去年发布《IDC Technology Assessment:中国安全大模型实测之安全运营,2024》报告,对中国安全大模型产品在安全运营领域的应用落地情况从七大维度开展实测,360安全大模型凭借领先的技术能力和业务水平,在告警关联与处置、策略创建与优化、引导式调查与修正、威胁情报的收集与分析等多个维度位居首位,综合能力国内领先。
护航政府产业,
推动“AI+安全”全面落地
作为关键信息基础设施的运营者,政府部门的网络安全直接关系到国家安全和社会稳定。某单位秉持“省级建设、省市县分级应用”的原则,基于360安全大模型强化现有网络安全态势感知体系,建设省级大数据智能安全分析中心,开展威胁监测预警、分析研判、应急处置、溯源追踪,实现安全事件和安全数据实时汇聚报送。经过一段时间的运营,该单位在终端行为日志、网络告警和钓鱼邮件等威胁的深度研判方面取得显著进展。
告警载荷分析方面
在安全大模型加持下,该单位实现对告警信息的智能化解读,第一时间锁定威胁行为源头,即时输出精准、翔实的研判结论,降低对人员水平和工作的要求,运营人效平均提升70%;
溯源取证分析方面
通过构建多维情报关联分析体系,360安全大模型实现对攻击行为的全面画像并给出综合处置建议,帮助安全人员迅速对攻击者作出合理的处置决策,人工平均响应时间等指标提效100%。
能源行业是国家经济发展的命脉和基础设施的重要组成部分。在实网攻防演习中,能源行业因其关键性和广泛影响力,成为安全防御的重要考验对象。2024年某能源行业企业攻防演练期间,360安全大模型与本地安全大脑强强联合,在告警降噪、钓鱼邮件检测、智能分析研判等场景辅助防守队提升运营效率,保障演练期间业务系统持续稳定运行。实际应用中,
1
在告警降噪方面
通过持续的规则优化和告警降噪,360安全大模型将降噪率提高至83.24%,其中,严重、紧急级别的告警降噪率为98.74%,极大地提升了防守队安全运营效率;
2
在钓鱼邮件检测方面
360安全大模型检测出近100封恶意邮件,包含黑灰产、营销推广、窃取数据等类型,其中发现15封钓鱼邮件,有效补充邮件网关的防护能力;
3
在智能分析研判方面
360安全大模型累计为该企业研判近百万复杂场景威胁告警,综合研判准确率达75%,大大提升了安全运营的效率。
如今,360安全大模型技术正通过降低技术门槛走向百行千业,让更多中小企业得以借助智能化工具优化管理、降本增效,并推动制造业、服务业等领域的全链条智能化升级。
某制造企业体量较小,安全预算有限,缺少专业运营人员,面对因安全设备和告警数量增加引发的对告警识别、分析、处理需求的爆发式增长,研判误报时有发生,运营工作压力持续扩大。企业希望确保有限的资源条件下,通过精准高效的安全防护措施,最大化地保障其内部网络系统的安全稳定运行。
为此,该企业在分析研判和威胁溯源两大场景使用360安全大模型,辅助运营人员提升整体安全运营效率。
在分析研判方面,经过持续调优运营后,360安全大模型为该企业日均自动研判1000+条告警,智能研判准确率达到了85%以上,助力客户快速定位重点威胁,解放运营人员精力。
在威胁溯源方面,360安全大模型简化了以往需经验丰富的安全运营人员在多个平台间进行数据提取的操作,溯源效率从小时级提升至分钟级。
据了解,目前360安全大模型已在金融、央企、运营商、教育、医疗等行业落地应用,为关键基础设施提供智能化安全防护,推动新质生产力向智能化、高效化方向演进。
生态共建,共筑安全基座托举智能未来
据了解,去年360发起成立大模型产业联盟,经过一年发展,成员已突破千家,核心伙伴超400家,覆盖十几个行业;同时,360发布的纳米AI搜索也集成了DeepSeek、豆包、Kimi、文心一言、通义千问等国内16家大模型厂商的50多款模型,共同开启国内最强“大模型联盟”,在多项打分上全面超过国外某前沿大模型产品。
周鸿祎表示,维护AI安全是一场马拉松一样的拉锯战,光靠360一家企业是不够的,必须要开放生态、加强协作,通过多元力量形成合力,共同做好大模型安全的保障工作,以此应对不断升级的挑战和威胁。
为此,360进一步集结产业上下游合作伙伴、科研机构及最终用户,共同在北京成立大模型安全联盟,旨在构建开放协作的大模型安全产业新模式,推进产业生态的全面融合。周鸿祎表示,组建大模型安全联盟的意义在于解决大模型发展过程中出现的安全问题,如果大模型安全联盟能提出解决大模型安全问题的中国方案,那将对全世界的大模型应用安全具有重大意义。
周鸿祎称,未来大模型安全联盟将保持开放性,随时欢迎更多的大模型从业者加入。同时,联盟内成员单位将在技术上互通有无,形成真正保护大模型的应用成果。他希望,联盟能发出自己的声音,也让公众在重视安全的同时,对大模型可能犯的一些小错误能够宽容和理解。
不仅如此,360还推出了一系列大模型安全产品,包括大模型系统安全检测平台“360智鉴”、大模型内容安全护栏“360智盾”、大模型可信增强工具“360智搜”,以及基于“内聚知识,外联情报”理念专为企业打造的智能知识管理与应用平台360智能文档云3.0以及针对情报监测与分析提供一站式解决方案的360舆情卫士。
周鸿祎表示,“在这条路上,我们是竞争对手,但我们更是可以并肩作战的伙伴。只有通过合作才能确保AI健康发展,让每位参与者都能在这场AI安全之战中成为胜利者。”
筑牢底座,打造大模型安全的中国范式
2024年发布的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》中首次提出,“建立人工智能安全监管制度”,要求统筹发展与安全,通过立法规范人工智能研发应用,防范技术滥用对就业、伦理、国际关系的冲击。
今年两会,作为深耕安全与大模型的从业者,周鸿祎也就抓好大模型安全提出建议。他认为,大模型作为工业革命级别的技术力量,既要发展,也要安全,需要创新与监管并重,促进大模型健康、可持续发展,进而释放出赋能新质生产力的巨大价值。
周鸿祎建议继续出台配套的政策措施,支持AI安全链主企业引领产学研合作,吸纳产业链上下游企业、科研机构,组建产业联盟等,联合开展大模型安全技术研发,推动大模型安全技术创新,为人工智能健康长远发展贡献力量。同时,引导人工智能安全链主企业推动相关技术成果转化,促进大模型向各行业加速渗透,催生更多新产业、新模式、新业态。
当人工智能技术以指数级速度重塑人类文明形态,我们正站在文明跃迁的十字路口,技术创新与安全治理不是非此即彼的单选题,而是必须并行驱动的双引擎——前者决定着文明进化的高度,后者丈量着发展轨迹的底线。只有以国家战略为锚点,以技术硬实力为盾牌,以生态协作网络为纽带,才能实现人工智能从“能用”到“善用”的质变跨越。在这场关乎人类文明走向的智能革命中,中国正通过安全大模型的自主创新为全球人工智能安全发展贡献力量。
往期推荐
| |||
| |||
| |||
|
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...