编者按:两会期间,全国政协委员、安天董事长、首席技术架构师肖新光同志就人工智能带来的安全风险、对网络安全产业发展机遇、安天在大模型方面所作工作等问题,接受了《南方周末》专访,访谈于3月11日以《大模型带来了风险,也带来了安全助力》为题发表。由于媒体发布篇幅所限,发稿内容有较多删减。安天公众号现将访谈全文发布,有少量修订。(文中斜体部分为媒体未刊发内容)
记者:能不能谈谈您今年重点关注内容?
记者:生成式人工智能给国家网络安全带来了哪些新的情况?
针对AI赋能整个攻击杀伤链的特点,我们正积极应对。从我们自身来看,大模型应用也给我们带来了很多能力升级,我们的引擎在自研的澜砥威胁分析垂直大模型的运用下,检测能力和抗免杀变换能力已经达到了非常理想的水平;知识工程的质量和构建效率也取得了很大的提升。
网络安全工作先天面向数字世界,而数字世界的基础特性使其能够率先与人工智能技术实现高效对接。在网络安全的全流程工作中,从威胁捕获、分析,到支撑威胁分析的特征工程与知识工程体系,均可借助人工智能技术实现加速发展。在实际防御场景里,鉴于当前用户资产规模庞大、信息系统应用繁杂且接入泛在,在如此复杂的资产运维体系中保障安全,涉及海量数据的分析、研判,以及相应的响应与决策,对网络管理者的专业水平要求很高,也给他们带来了沉重的心智负担。引入人工智能技术后,有望全面提升网络安全从保障目标对象体系到产品赋能产业体系的防护效果与水平,提高防护自动化程度,有效降低对网络安全工作者的经验依赖,同时解放安全工作者,让他们得以将精力投入到与人工智能配合开展更深入、有效的工作中。
人工智能在防御场景有效发挥作用要依赖于可靠扎实的基础能力建设,防御者需要完善识别、塑造(加固)、检测、防护、响应等能力频谱。人工智能是基础安全能力的增益,而无法取代基础环节。
记者:Sora为代表的生成式视频大模型,为深度伪造创造了条件。技术上是否可以识别出哪些是人工智能生成的内容?我们普通人应该如何去甄别深度伪造的信息?
肖新光:识别深度伪造目前来看有一些方法,包括基于生理信号比对、基于物理规律分析、基于元数据指纹等,但每种技术方法都有其适用场景和相关前提条件。如基于生理信号分析,主要是验证微表情等和本人是否一致,前提是需要存储可对比的样本;基于物理规律捕捉分析光影效果是否一致等等,需要相关的算力、元数据指纹等,更多只适用于版权保护等相关场景,而且需要非常完善的配套治理体系。
相关攻击之所以称为深度伪造,就是它已经超出了普通人依靠肉眼的判断感知和相关范围。在遭遇类似有深度伪造在内的攻击过程中,更多的防范举措还应来自于相关内容发布方,相关交互的内容和请求是否符合常理,特别是对政企机构的工作人员来说,是否符合相关工作流程和体系。应对相关攻击,不能只依赖于被攻击、欺骗者和公众对深度伪造内容的观察能力。
记者:大模型技术的突飞猛进是否会降低黑客攻击的技术门槛?
记者:以大模型为代表的人工智能技术,风险最高的环节是哪一个?
肖新光:风险评价必须基于不同主体的视角,因为大模型应用涉及到多元主体的场景,也涉及不同工作的层面,因此很难叙述哪个是风险最高的环节。从多元主体的角度来看,大模型技术的开发者,要判断从训练数据、算法设计和实现,到相关的工程优化等方面的全生命周期的风险问题;平台发布者,除关注上述问题外,还要从基础设施、业务应用、数据采集和利用等方面关注相关安全风险;大平台服务和API使用者,需要关注相关的数据安全,避免将不适宜投放到大模型处理的敏感文件和数据投放到相关平台的问题,以及大模型数据本身带来的影响干扰,包括在生成的代码内容中,可能带有相关攻击隐患的问题。私域大模型的部署者,需要关注部署环境相关的安全风险,内部的数据安全保密,相关信息外泄等相关风险。这些风险往往是体系化的、相互连接的,它可能在短时间内会有迫切需要优先解决的问题,但整体上必须以系统工程的思维形成整体解决方案。
记者:使用国外的大模型是否可能导致用户的隐私数据泄露?类似政府国企和相关敏感部门在部署大模型的过程中,应该如何确保安全?
肖新光:这是一个非常复杂的安全问题。一方面是霸权国家对我们搞“小院高墙”,搞了大量手段禁止中国用户使用。比如OpenAI阻止来自中国的API使用流量,ChatGPT对中国IP做了访问限制,在购买服务中禁止来自中国的银行账户支付等等。同时,我国政企机构和用户如果使用相关平台或服务更会带来综合风险。这不只是一个简单的隐私泄露问题,更有涉及知识安全、心智安全等问题,更是国家安全的重大风险隐患。相关情报机构建设了“棱镜”等大规模互联网平台和IT厂商的超级权限接口,对全球用户、设备等进行画像分析,其军方更是搭建了基于GPT-4的隔离网部署的大模型平台,用于进行情报分析。我们要从总体国家安全观的视角深入分析相关风险,同时也认识到发展我们自己的带有鲜明基础设施特点的共性大模型平台的战略意义。
同时,我们也要看到,自主研发只是达成安全的重要基础,由于大模型平台安全涉及多种因素,涉及多元治理,各主体角色都需要在大模型的运用发展中,实现网络安全的同步规划、同步建设、同步运营。针对整个运行体系和全生命周期的各种风险进行积极防范。
这一过程中,本地化部署包括内网部署的大模型平台,也需要做好自身的基础安全防护和相应的IT治理策略,特别是这些大模型往往承载着敏感数据分析,一旦成为数据资源的汇聚地,它就可能成为攻击者试图窃取关键数据资源的最佳攻击点。DeepSeek平台和其他的公共服务平台,短时间访问激增、有大量数据交互,这些平台本身也需要落实好数据管控、隔离等相关工作。同时,也建议相关部门在安全上的监管能力,需要前出、跟进、赋能、服务,强化相关治理,在让我国政企机构和用户获取大模型应用红利的同时,减少安全风险。
记者:目前大模型训练和推理很多还要依赖国外的训练框架及芯片,这种训练的阶段是否有可能留有后门?大模型产业的全栈技术国产化是否非常急迫?
肖新光:供应链的安全风险是长期存在的,只是它是随着相关的场景变化而演进的。目前来看,此前相关国家就有在供应链侧进行包括削弱加密标准(NIST SP800/90)、污染开源代码等诸多不良记录,其情报作业习惯也会延伸到大模型平台领域。对相关威胁,我们需要加强防范,需要长期投入,持续跟踪,开展扎实的分析验证和研判。
大模型的全栈能力非常复杂,既包括算力芯片的产业链,也包括高质量数据源、算法、服务和生态体系综合体系。中国始终坚持开放,坚持全球化,并不是我们自己想要去建设全栈能力,而是先发国家滥用其供应链侧优势,长期采取我们没有能力时就卡我们的脖子,我们初步发展出相关能力时就低价冲击我们的产业的打压措施。现在更是对我们搞“小院高墙”的脱钩封堵,不断强化相关的芯片禁令,不断使用新的打压干扰手段。导致只要我们不具备完整的自主能力,那么我们缺失的能力环节就会被对手当作一个“卡点”,我国在此问题上只能积极应对。我们追求的不是封闭自保,不是小农经济的自闭合运行,而是把握自己的命运,为人类文明提供更先进的科学和工程技术成果。一方面我们要避免被对手卡住脖子,另一方面我们需要以更开放的心态,为人类命运共同体输送更好的高科技服务和成果,这样才能够真正掌握主动权。
记者:人工智能的发展有没有给网络安全产业带来哪些新的机会?您所在的企业,有哪些新的创新成果?
肖新光:人工智能的快速部署,会带来相应的信息化增量,而这个增量能力是需要网络安全保障的,这是目前我们看到的最直接的对网络安全产业的促进作用。
安天的核心产业定位是为产业提供共性能力,我们反病毒引擎累计覆盖了超过四十亿部手机终端、PC终端、网络设备和网络安全设备等。我们的共性能力依托赛博超脑平台的自动化和工程师威胁分析工作来持续更新迭代。整个技术体系运行机制依赖于“三大工程体系”,即特征工程、知识工程和模型工程(MBSE)的支撑。我们深入应用大模型技术,来提升特征工程的质量和效率,进行更高水平的知识生产。同时我们依托网络安全建模,为人工智能提供框架化的逻辑结构和路径,寻找约束大模型推理幻觉的机制。我们的澜砥威胁分析垂直大模型,将和我们的反病毒引擎一起构成智能设备、无人设备等的更强安全内核。同时,我们也基于大模型改善我们的知识体系,发布了计算机病毒分类百科全书,成为产业在反病毒和恶意代码领域的公共知识入口。
我们的重要创新成果是澜砥威胁分析垂直大模型,我们的研究优势是拥有海量样本以及从样本中提取的向量,并有一套完整的自动化分析处理体系。但早期我们基于开源大模型的部署应用,进行文件样本的分析工作,发现效果很不理想。我们面对的样本主要是二进制可执行文件,很多经过了各种加密和免杀处理。而传统开源模型主要以自然语言,或者具有鲜明可标识特征的数字、图像、音频等作为训练对象,并不适用于处理二进制数据。同时病毒样本文件体积较大,在现有平台的短token上下文机制下难以进行有效处理,而且缺乏充足的GPU算力也是我们面临的瓶颈。于是,我们聚焦自身场景,全力攻克处理二进制数据、突破上下文长度限制、不依赖GPU算力运行等难题。当我们专注于这些细分领域后,在局部垂直细分方向取得了出色成果。自主研发的澜砥威胁分析垂直大模型已经用于特征工程提取工作和威胁分析产品,并成功通过了中央网信办的算法备案,成为首个成功备案的威胁检测垂直大模型。
记者:大模型是一个黑箱,你是否担心未来人工智能会给人类带来威胁?
肖新光:人类对新事物的好奇心和恐惧感,都是人的本能之一,前者驱动探索与进步,后者驱动安全和治理。我特别想说明的是,新技术风险的核心从来不是在新技术本身,而是在于技术被谁更好掌握,被谁更好使用,以及如何做好技术自身的安全应用。技术掌握在热爱和平与正义的国家手中,还是掌握在热衷于战争与霸权的国家手中;是更好地运用于社会治理、服务于人民生活,还是为侵害他国、获取利益。这才是新技术成为福祉红利,还是风险之源的根本原因。
新技术带来风险的同时,也会成为应对风险的重要手段。以互联网和云计算为例,互联网带来了安全威胁快速流动的风险,但也为安全能力的分发、安全运营的快速闭环构造了基础条件。云计算带来了针对其体系的攻击会导致整体崩溃的风险,但云的应用,也是重构强治理支撑的统一安全防护的契机,从而构建更具弹性的防御机制。大模型也不例外。
大模型既带来了风险因素,也带来了安全助力。无论是提升网络安全防御的自动化、智能化水平,还是在大型防御体系中更好地实现对数据和信息的判断整合、对深度伪造的识别等,都是大模型重要的发展方向。
中国的科技工作者、高科技企业要做的工作,是把新技术把握在中国人自己手里,让技术更好地服务于历史的进步性和正义性,并为人类文明发展做出更大贡献。
记者:你认为 DeepSeek 的成功,给国内的创业者带来了哪些启示?是否有复制的可能性?
肖新光:所有的重大成功都是以必然性为本质,但同时带有一定的偶然性。DeepSeek(深度求索)的成功,遵循了创业本身的唯物辩证法。DeepSeek在幻方量化强有力的投入能力支撑下,扎实地建立了自己的算力基础能力和相关的数据资源,这也是其本身能够成功的重要物质基础。DeepSeek团队敏锐看到了大模型的发展绝不是简单的算力依赖论,对于更多的政企机构和个人,需要以相对更低的成本,来获得人工智能时代的润泽。它通过大量技术创造和工程优化技巧,大规模降低了大模型部署成本,击穿了西方依靠算力霸权构造出来的高消耗式的创新范本,这就是其创业的辩证法。
在网络安全领域,也同样有我们要遵循的唯物辩证法。创造系统、刚性、深度的网络安全需求,牵引网络安全长期投入,这是网络安全能有效发展的需求基础,同时离不开网络安全产业人带有创新精神的艰苦努力,这是我们的历史主动性和能动性。
与此同时,众多厂商宣布接入DeepSeek,是网信领域包括网安产业在心态上的一个重要突破。在DeepSeek出现之前,我们还处在国内“百模大战”的状态中,各家都宣称自己拥有通用大模型技术和平台。网络安全产业此前存在着非常严重的全产品赛道幅宽拓展、横向生长现象,厂商之间只有赛道竞争,难以进行上下游协同和共享,这不是一个合理的产业业态,包括多家网络安全企业宣称拥有自己的通用大模型技术。其实,网络安全产业本身的产出规模、产出能力有限,安全厂商自研通用大模型,而非垂直模型,并不符合创新规律。但由于原来网络安全产业的内卷竞争业态,就导致也跟随“百模大战”,搞“一家一模”。DeepSeek的异军突起,让大家意识到了依托共性技术、共性底座来进行创新,是站在一个更高起点的平台向上攀登的更有效的过程,打破了原有的网络安全企业那种必须自己来做全能力的这样一种封闭心态,验证了开放合作的可能。使大家看到,与专业的共性方合作,是一个睿智的选择,术业有专攻,这种合作,不会影响客户对厂商的价值认知,反而能增加客户信任。
安天长期做威胁检测共性技术的研发、升级和供应。我们反病毒引擎的设计初衷,就是给网络安全兄弟厂商使用的一个安全中间件。我们希望的是,使用我们引擎的合作伙伴,不用再关注恶意代码检测相关的问题,从而能够更好地聚焦于做好他们所擅长的威胁对抗和相关的产品功能。DeepSeek的成功,给了我们很大的振奋和激励。为我们坚定做好产业上游共性能力奠定了信心。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...