前沿 | 人工智能安全风险防控与应对策略 - 新鲜讯息

扫码订阅《中国信息安全》

邮发代号 2-786

征订热线：010-82341063

文 | 北京林业大学李嘉豪

一、人工智能与安全的辩证关系

从互联网、云计算、大数据等新技术的发展历程可以看出，任何一项新技术的发展和应用都存在着相互促进又相互制约的两个方面，人工智能也不例外。一方面，技术的发展能带来社会的进步与变革；另一方面，技术的应用要以安全为前提，要受到安全保障机制的制约。然而安全是伴生技术，往往会在新技术的发展之后才被关注到，因为人们首先会去享用新技术带来的红利，之后才会注意到新技术伴随的种种安全问题。人工智能作为一项新技术，既能赋能安全，又会伴生安全问题。目前，人们普遍更关注人工智能技术的发展，突出其在军事、交通、金融等各个领域的发展和应用。当人工智能技术发展到一定阶段后，必然会面临伴生安全问题的困扰，此时人们便会转而强调技术的安全可控性。英国技术哲学家大卫·科林格里奇在其《技术的社会控制》一书中阐述，一项技术的社会后果不能在技术生命的早期被预料到，然而当不希望看到的后果被发现以后，技术往往已经成为整个经济和社会的一部分，此时想要控制它将会十分困难。这个观点被许多科学哲学研究人员认同，也常被称为“技术的控制困境”或“科林格里奇困境”。

人工智能安全问题伴生效应，是指尽管人工智能技术在酝酿之初会根据以往的经验去充分考虑安全问题，但在新技术推出应用之后，势必会在不断的应用中发现新的安全问题伴生而来。因为当一种新技术刚刚走入公众的视野之时，需要通过大量的应用实践才能够逐步提升其技术成熟度，通过市场上的“众测”来完善其技术能力；而在这一过程中，因其所呈现出自身的不成熟、不完备，容易引发新的安全问题。人工智能的安全问题伴生效应也会表现在两个方面：一是新技术的脆弱性导致系统自身出现问题，无法达到预设的功能目标，称之为新技术的“内生安全”；另一个是新技术脆弱性并没有给系统自身运行带来风险，但其脆弱性却被利用引发其他领域安全问题，这称之为“衍生安全”。

综上所述，人工智能技术具有安全赋能与安全伴生两个效应。其中，安全赋能效应是指人工智能技术系统足够强大，可以提升安全领域的防御能力，也可以被应用于安全攻击；安全伴生效应是指人工智能技术存在问题或其可控性方面存在脆弱性，前者可以导致人工智能系统的运行出现问题，后者可以导致人工智能系统危及到其他领域的安全。本质上来说，赋能攻击与衍生安全的外显行为都是人工智能系统会危及到其他领域的安全，差别仅仅是内因的不同：赋能攻击是攻击者利用人工智能技术的强大特性来主动提升破坏性效果；衍生安全是由于人工智能技术的脆弱性被利用，或者人工智能系统在可控性方面的脆弱性导致自身“意外”地形成破坏性效果，或者自主地形成破坏性效果，从而影响到其他领域的安全状况。

二、人工智能安全风险的类型

人工智能安全风险分为内生与衍生两种。内生安全是指人工智能技术存在问题或其可控性方面存在脆弱性，导致系统运行出现问题，无法达到预设的功能目标；衍生安全是指人工智能技术的脆弱性被利用，导致其危及到其他领域的安全。

（一）人工智能的内生安全

人工智能内生安全指的是人工智能系统自身存在脆弱性。部分原因是因为新技术自身不成熟，存在着一些安全漏洞，包含人工智能框架、数据、算法、模型任一环节都能给系统带来脆弱性，但这些漏洞通常会被发现并且可被改进；还有一种情况是新技术存在着天然的缺陷，使得某些客观存在的问题无法通过改进的方法来解决，此时只能采取其他手段加以防护。例如，可信计算是建立在可信根的基础之上，而可信根的前提是系统的使用者就是可信根的拥有者，这才能够让不可被替换的可信根来保护系统的安全运行。但就云计算环境而言，由于云服务商拥有云资源，该资源仅仅是提供给云的租户使用而已，使得计算资源的使用者与拥有者分开，导致可信根的拥有者与需要保障安全的使用者不再是同一个对象，从而使可信根的模式在云计算平台上不再适用。同样，量子的塌陷效应使之难以用于通信，因为一旦出现监听，通信就被中止，致使通信的可靠性成为量子通信系统的软肋，使其大大降低了用量子通信系统构建传输通道的可行性。事实上，这种情况一直伴生在各种技术中。例如，对抗样本就是一种利用算法缺陷实施攻击的技术，自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。由于互联网上的系统必须通过开放端口来提供服务，而开放端口本质上就相当于引入了一个攻击面，从而形成了脆弱性，这就是互联网服务的内生安全问题。

（二）人工智能的衍生安全

衍生安全其本质就是新技术自身的一些缺陷或脆弱性，并不会影响新技术自身的运行，但却会被攻击者利用而危害到其他的领域。例如物联网的传感部件具有信息辐射的特点，这并不影响物联网的正常运行，却使得信息泄露成为新的风险；社交网络不支持强制实名制时并不影响社交网络的正常运转，但却有可能被利用而助力了谣言的传播，从而无助于抑制负面行为，导致群体性事件的发生；近场通信在帮助人们便捷通信的时候，没有设置强制性通信握手环节以确认通信的发起是否自愿，尽管这并不影响NFC的正常使用，但不法分子却有可能利用这个缺失的环节来近距离盗刷用户的手机钱包等。

如上所述，衍生安全绝大多数情况下指的是新技术的脆弱性被攻击者所利用，从而引发其他领域的安全问题。人工智能技术当然也存在着同样的情况。近几年,智能设备安全事故频发：2018年3月，优步（Uber）的自动驾驶汽车在美国亚利桑那州坦佩市撞死一名在人行道外过马路的妇女。2020年6月,中国台北仙桃，特斯拉的自动驾驶系统把白色翻倒的卡车误认为没有障碍物，导致了车辆在开启自动驾驶的状态下毫无减速地撞上卡车。因为人工智能的智能化判定需要高度依赖输入数据，自动驾驶的前提是要对环境参数进行正确的感知，一旦感知出现错误，如没有感知到对面的障碍物，其决策就是错误的。因此，这种依赖输入的现象可以被视为人工智能系统的一种脆弱性。这种脆弱性并不影响人工智能系统自身的运行，但攻击者可以利用这一点，如干扰自动驾驶汽车的雷达等传感设备，从而达到让自动驾驶汽车肇事的目的。

此外，人工智能技术还是一个十分少见的特例。这是因为人工智能的脆弱性不一定都被攻击者所利用，而是以一种“事故”的形式形成了对人类的直接威胁。人们经常看到的那些“机器人伤人”“自动驾驶出事故”的现象，本质上都是人工智能脆弱性所带来的问题，这时即便没有被攻击者有意利用，但由于“人工智能行为体”在运行状态下往往具有可伤害人类的“动能”，所以其自身就可以“自主”伤人。更有甚者，由于“人工智能行为体”具有自主学习能力，使得其可能在自我进化的过程中脱离人类控制，进而危及人类安全。而且，人工智能行为体系统功能越强大，其带来的威胁往往也会越大。由此可见，凡是具备自我进化能力的系统，都可能在不被他人主动利用其脆弱性的前提下引发安全问题，而人工智能技术的特殊性就在于其可成为打开“自我进化之门的钥匙”。因此，确保人工智能技术发展过程“安全可控”无疑是至关重要的。

三、人工智能安全风险的危害及表现

人工智能正以它的高速、准确和智能为人类社会发挥着巨大作用。但是，随着人工智能的发展完善和应用领域的不断拓展，也更加体会到人工智能技术在国家安全、网络安全、社会生活各方面带来的挑战和冲击。

（一）国家安全风险

人工智能国家安全风险重点表现为其基于某种政治企图，服务于人工智能社会舆情预测管控背后的不知名主体，以达到扰乱他国舆情民意、激化他国社会矛盾和侵犯他国国家利益的目的。习近平总书记强调：“大国网络安全博弈，不单是技术博弈，还是理念博弈、话语权博弈。”基于人工智能进行的社会舆情预测管控是网络安全的重要组成部分，是关于国家政治安全与稳定的重要空间和阵地。最近几年，深度伪造作为人工智能技术和数字技术发展的产物，正在世界范围内快速扩散。近日，一条乌克兰总统弗拉基米尔·泽连斯基（Volodymyr Zelensky）的“视频”被广泛传播，在视频中泽连斯基呼吁乌克兰士兵放下武器，该视频引起大范围讨论。以致乌克兰国防情报部门在推特上及时澄清，并专门向大家科普什么是Deepfake，科普视频包括美国现任总统拜登等多国政要都以假冒形象出镜。通过基于无监督学习的生成对抗网络技术实现智能图像处理与虚假图像生成，通过基于大数据聚类分析实现个性化新闻分发与推送等手段，能够迅速、准确、高效地对于目标受众心理与行为产生积极或消极影响。由于该项技术可以运用在包括总统在内的任何人员身上，各国都开始担心这种基于人工智能合成人类图像的技术将成为针对本国散播不实谣言、煽动不安情绪的有利武器。

人工智能武器研发可能引发国际军备竞赛。将发展人工智能列入国家战略已成为很多国家的共识。在美国确定将发展人工智能技术作为其核心战略之后，很多国家纷纷效仿，努力实现从开发到应用的跨越式进步，一场人工智能技术军事化应用的竞赛激烈展开。这些积极发展人工智能武器的国家大多以巩固国家安全为借口或目标、以科技能力为支撑、以经济实力为保障，将发展人工智能武器视为“保持军事领先”或“军事弯道超车”的重要途径，纷纷加快推进人工智能武器化进程。这种危险的、以人工智能来赋能攻击的军备竞赛，给人类安全与世界和平带来了巨大风险。例如，军备竞赛致使智能武器升级为自主系统，其存在着可能危害人类的隐患。智能武器由智能化向自主化发展既是一个渐进过程，也是一个必然趋势。当智能武器越过智能化的门槛升级为自主化时，人也就丧失了对于智能武器的最终控制权。这种智能军事武器跨越式发展带给人类不仅仅是成果开发的喜悦和实现目标的把握，伴随而生的还有威胁人类生存的隐忧和恐惧。此外，从客观现实风险看，智能武器部分替代人类，存在着战争束缚减少的不良效果。例如，按照美军的规划，未来美军半数以上的防务工作都将由智能武器承担。智能武器的出现，将大量减少人类战斗人员。这一重要变化，极大减少了对发动战争需要增员的重要约束条件，将使发动残害人类生命安全和国家安全的战争几率增加。

（二）社会安全风险

愤怒的失业者：现实治安秩序的不稳定因素。人工智能技术发展最显著的社会安全风险表现为逐渐频繁出现的因机器自动化而降低劳动需求的现象，当越来越多的失业人群认为人工智能发展给社会带来的是愈加分化的贫富差距和愈难实现的公平正义，无疑会对社会秩序的安全和稳定造成极大的负面影响，甚至可能会造成社会动荡。北京大学光华管理学院副院长周黎安在2021北京智源大会分论坛上表示，短期内人工智能正对中等收入群体带来一种结构性的失业冲击：即一方面是大量的人被替代下来、但又不适应新产业、新岗位所要求的新技能，而被迫失业；另一方面是新岗位和新职业人才紧缺，供不应求。这就说明在较长一段时间内，产业结构的调整速度赶不上人工智能技术的发展和应用速度，这就导致一段时间内不论何种劳动者，收入份额占经济的比例都会下降，其中低端劳动力占比下降得更为迅速。除此之外，人工智能中隐含的算法歧视也不利于社会公正。虽然算法具有容观性和确定性的特征，但算法的设计仍然是由人类工程师完成的，不同的算法工程师会设计出不同的算法，算法在细节上会继承设计者的主观特质，如果在设计中暗藏种族歧视或者价值偏见，最终可能被人工智能所体现。例如，Northpointe公司开发的预测罪犯二次犯罪几率的人工智能算法，因为其预测结果中的黑人犯罪概率远远高于其他人种而被指责带有种族偏见倾向。换言之，人工智能技术发展所带来的社会安全风险即其不断加剧收入分化和社会不公正，甚至导致社会极化现象严重，以致现实社会秩序动荡不安。

人工智能技术的发展为人类带来便利的同时也存在着潜在的社会环境风险和社会伦理危机。环境风险指人工智能技术的发展给人类带来的生态环境问题，包括资源消耗、环境污染、生态失衡等。众所周知，电子产品的制造过程会产生水污染物、大气污染物以及固体废弃物，对人体和环境会产生巨大的危害。同时，人工智能对计算资源的要求越来越高，依赖也越来越强，计算资源所占能源消耗的比重也越来越大。由此可知，人工智能产品的使用市场和使用量也将剧增，导致人工智能的废弃件也会越来越多，人类面临的环境问题将更加严峻。另一方面，深入探索人工智能的责任伦理问题能更好地规范人类社会的责任关系，其聚焦于谁来负责人工智能的过失及其给人类带来的损失。例如，人们担忧的社会伦理危机的具体内容有：机器伤害甚至杀害人类的事故由谁来负责？人工智能在设计与投入使用的过程中涉及的人员是复杂的，包括设计者、生产者、销售者、监督者、使用者等，当事故发生时该由哪些人员来负责任变得难以协调和规范。不得不说，人工智能的发展给责任伦理理论提出了新的问题，除了对具体事件的责任判定，责任伦理还强调对未来负责。也就是说，现在所发展的人工智能技术不仅要保证在当下不产生相关的危害，更要保证不能在下一代人的身上产生危害。现代的技术是不可逆的，这提醒人们要慎重对待人工智能引起的各种问题，人工智能技术引发的社会责任伦理危机不可小觑，值得人们深思和关注。

（三）网络安全风险

智能新技术助力恶意网络攻击，滋生网络暴力和侵权行为。人工智能驱动下的自动化网络攻击是当前热门话题之一。黑客正在改进他们的武器，已经在其攻击战术、技术和策略中积极引入人工智能技术，实现网络攻击自动化。网络安全公司Cylance在美国 2017年黑貌大会上征询了100位信息安全专家的意见，有62%的信息安全专家认为黑客未来会利用人工智能技术赋能网络攻击。人工智能技术还可生成可扩展攻击的智能僵尸网络。这种蜂群网络与传统的僵尸网络不同，利用人工智能技术构建的网络和集群内部能相互通信和交流，并根据共享的本地情报采取行动，直接使用群体情报来执行命令而无须由僵尸网络的控制端来发出命令。当蜂群网络识别并侵入更多设备时，它将能够成倍增长，从而扩大了同时攻击多个目标的能力。这在本质上标志着智能物联网设备可以被控制并对脆弱系统进行规模化、智能化的主动攻击。此外，个性化智能推荐融合了人工智能相关算法，根据用户浏览记录、交易信息等数据，对用户兴趣爱好、行为习惯进行分析与预测，根据用户偏好推荐信息内容。智能推荐可被应用于负面信息的传播，并可使虚假消息、违法信息、违规言论等不良信息内容的传播更加具有针对性和隐蔽性，在扩大负面影响的同时减少被举报的可能。

McAfee公司表示，犯罪分子越多地利用机器学习来分析大量隐私记录，以发现潜在的易攻击目标人群，通过智能推荐算法投放定制化的钓鱼邮件，提升攻击的精准性，导致网络暴力和侵权行为愈演愈烈。

人工智能技术的发展与应用带来了大量的信息安全风险：包括数据劫持、系统泄露、隐私安全和算法歧视等。如果智能系统的安全改进和防护措施不到位，便有可能出现致命的漏洞，容易被非法入侵和操控，并引发其他安全问题。一方面，新一轮人工智能浪潮的到来是由数据驱动的，人们往往要以牺牲个人数据为代价来获得所需的服务。这些信息被收集后，一旦收集的平合出现防护漏洞，就有可能造成大面积的隐私泄露。云计算和大数据技术的广泛应用更是加剧了这种隐私泄露的风险，而个人隐私泄露也会产生其他社会安全问题，比如对个人财产和人身安全造成的影响、相关企业信任度被降低等。如果人工智能掌握的是重要的国家情报，那么一旦泄露，后果更是不堪设想。另一方面，网络空间的虚拟性使得敏感的个人数据更易于被收集。人工智能技术具有信息关联的能力，一旦系统通过各种渠道获知了足够多与当事人相关的信息，如购物信息、订阅信息、旅行信息、认证信息、信用信息、位置信息等，通过人工智能技术就能够很容易地挖掘出人们的隐私，而且人们很难追踪这些个人数据和隐私信息的泄露途径与泄露程度。人工智能的长项是通过已知的数据进行训练，以判断那些未知的数据。例如，超市可以统计已知孕妇的消费习惯，并利用这些消费习惯训练人工智能对孕妇的判断能力。由此，超市根据顾客的消费习惯就可以推算出顾客是否是孕妇，以确定对之进行广告的定向投放。但这对那些不想让人们知道其怀孕的人来说，就是一种侵犯隐私的表现。

四、人工智能安全风险的应对策略

技术是把双刃剑，我们要发挥主观能动性激发人工智能带来的积极影响。针对人工智能技术的控制困境和安全风险，必须重视准入制度和标准规范建设，确保公众知情权，呼吁社会各界共同努力，提升高精尖人才自主培养质量。

（一）重视准入制度和标准规范建设，抢占智能安全控制权

人工智能作为高精尖技术，无疑是国家创新能力和核心竞争力的重要体现，通过积极参与人工智能行为规范、伦理准则的研究与制订，积极争取人工智能安全治理的主导权和话语权。一方面，国家应设置市场准入制度，强制要求人工智能必须按照标准规范预留接口以支持保险箍的接入，否则不允许入境或进入市场销售。准入制度主要针对的是人工智能设备制造商及零件制造商，判断其是否支持保险箍的接入也需要从多个角度判断。为了加速保险箍发展，应该优先为具有破坏能力的机器人设置准入制度并强制执行。例如，可以制定相应法律，要求具有破坏能力的机器人必须安装有“保险箍”这类的制约系统，就如同汽车必须设有刹车系统一样，并且这一要求应该成为市场准入前提，以便保护人类不受机器人的潜在威胁。另一方面，比准入制度更重要且实施难度更大的是制定与保险箍相关的标准规范。如果没有统一的标准规范，人工智能设备制造商就不知道应该预留何种接口、如何对保险箍认证、内置算法如何接受干预、采用何种协议来通信、传感器采集的数据如何共享、能源如何按需供给等，保险箍自然也就无法集成。在全球、全国、行业范围内制定标准规范是保险箍可以存在和发挥作用的基本前提，需要各国秉持开放共赢的精神，通过在国际范围内建立人工智能规范和标准，避免技术和政策不兼容导致的安全风险，积极推动各国人工智能安全发展。

（二）确保公众知情权，社会各界共同努力实现人工智能安全可控

实现人工智能安全可控需要社会各界共同贡献自己的力量。从政府决策者角度，制定人工智能安全可用的顶层方案至关重要，从政策、法律法规层面可以推进人工智能安全发展，限制人工智能恶意利用等；从企业角度，遵守人工智能安全的相关标准和规范研发智能系统，保障人工智能系统的安全可用；从科研院所角度，大力研究保障人工智能安全的基础理论，突破智能算法设计、数据评估、安全测评等关键技术；从社会舆论角度，加大人工智能安全的宣传力度，让社会大众树立正确的人工智能技术安全应用意识，并时刻提防人工智能带来的安全隐患。与此同时，由于人工智能技术的应用涉及不同文化对信息保护、公平正义、民主治理以及社会发展趋势等方面的理解，所以必须要加强科技界、产业界、政策研究界的通力合作。作为和每一个自然人密切相关的技术，公众对于人工智能的发展及安全方面的信息、知识的获取，不但是其融入社会生活的一个充分条件，也是维护自身合法权益的必然要求。因此，每位社会公民都应当能够及时获取相关信息，对人工智能技术的发展、应用与推广享有充分的知情权，保证其知晓因人工智能技术进步而产生的社会经济利益以及可能衍生的安全风险。

（三）提升高精尖人才自主培养质量，提高我国创新力和竞争力

创新驱动实质上是人才驱动，高精尖人才自主培养质量关系着国际竞争主动权掌握和社会主义现代化强国建设。当前，根据人工智能技术发展态势，聚焦国家重大战略需求，动态调整优化高等教育学科设置，有的放矢培养国家战略人才和急需紧缺人才，提升教育对高质量发展的支撑力、贡献力至关重要。智能新技术人才自主培养是一种重要的策略，对于国家、企业和社会组织来说，能够更好地适应快速发展的技术环境，提高自身的竞争力和创新能力。在智能新技术人才自主培养的过程中，我们需要采取以下措施：首先，建立培训计划。制定详细的培训计划，包括培训目标、培训内容、培训时间、培训方式等，以确保培训的针对性和有效性。其次，建立学习平台。通过建立在线学习平台，提供相关的学习资源和实践机会，以帮助人才更好地掌握智能新技术知识和技能。再次，重视招聘、选拔和实践。需要注重对人才在智能新技术领域的技能和经验的考察，以确保招聘到的人才能够适应市场和应用需求。同时注重实践和积累项目经验，为人才培养提供实践和项目经验的机会，以帮助他们更好地掌握智能新技术知识和技能，并将所学知识应用到实际工作中。最后，必须建立激励和奖励机制，鼓励员工主动学习和掌握智能新技术知识和技能，并对他们的学习成果和贡献进行奖励。通过以上措施更好地实现智能新技术人才自主培养的目标，增强我国人工智能领域的创新力和竞争力。

（来源：中国社会科学网）

《中国安全信息》杂志倾力推荐

“企业成长计划”

点击下图了解详情