AI狂飙，安全或许是最后的救世主！

尼尔•波斯曼在《技术垄断：文化向技术投降 Technopoly: The Surrender of Culture to Technology》一书中提到：许多人认为他们看得清清楚楚，新技术会把我们引向何方，然而一无例外，难以预料的后果却横亘在他们的路上。

AI或许正是如此。

随着ChatGPT眼花缭乱的崛起，AI的伦理与道德再次成为焦点，而如何验证和保障AI的安全可信，也同样成为迫在眉睫的问题。

初创新星和未来战场

2023年4月5日，咨询巨头毕马威KPMG悄悄剥离成立了一家初创公司Cranium，尝试解决人工智能安全问题，保护AI应用程序和部署。

Cranium的意思是颅骨，蕴含着保护大脑的意味。

几年前，KPMG的合伙人Jonathan Dambrot在帮助客户部署和开发AI系统时，开始注意到合规性和安全性方面的某些差距。没有人可以解释他们的AI是否安全——甚至谁负责确保这一点。

“从根本上说，数据科学家不了解人工智能的网络安全风险，网络专业人员也不了解数据科学，”Dambrot在接受TechCrunch采访时说。“需要更多地了解这些风险和立法，以确保这些风险得到适当解决，并确保组织正在用安全可靠的人工智能系统做出决策。”

这一想法促使Dambrot推动KPMG的内部加速器KPMG Studio资助和孵化一家软件初创公司，以解决围绕AI安全性和合规性的挑战。Dambrot与另外两位联合创始人Felix Knoll（KPMG Studio 的“增长领导者”）和Paul Spicer（KPMG 的“产品负责人”）以及大约 25 名开发人员和数据科学家组成的团队分拆了业务——Cranium。迄今，Cranium已从KPMG和SYN Ventures筹集了700万美元的风险投资。

威胁类型因客户而异，但一些更常见的攻击涉及中毒（污染AI训练的数据）和基于文本的攻击（用恶意指令欺骗 AI）。

“Cranium的构建是为了在客户端发现并提供AI系统的可见性，提供安全报告和监控，并创建合规性和供应链可见性报告。”Dambrot 表示，Cranium可以建立一个人工智能安全框架，为客户的安全和数据科学团队提供构建安全程序的基础。

能力越大，责任越大。

问题越大，预算越多。

对AI充满警惕的（看到了AI安全广阔前景的），不止是Cranium。2023 RSAC创新沙盒10强之一的HiddenLayer，也早已关注到这一问题和趋势，并于昨日斩获了本届创新沙盒的冠军！（）‍

繁星创投在中曾经对这家公司有过点评：网络安全领域最让人兴奋的地方，就是总是不断地会有新领域出现，这也是网络安全领域值得投资人长期关注的原因之一。Hiddenlayer的出现就是又一个证明。随着机器学习被广泛应用，针对机器学习的攻击也开始出现，Hiddenlayer认为机器学习算法及精心挑选的训练集是一个公司的独特竞争优势，但是一次成功的对抗性攻击将让你优势尽丧，甚至都完全没有注意到。Hiddenlayer提出了Machine Learning Detection and Response，MLDR来防护你的机器学习算法。

AI安全已经成为一个新兴的赛道，或许也是继Cloud Security、GRC Automation、SASE、DataPrivacy之后的下一个大战场，许许多多的技术新星，正蜂拥而来。

专业机构的洞察分析

国际众多专业研究和分析机构，也在对AI安全进行理论框架的探索。

2023年1月26日，NIST发布了「人工智能风险管理框架AI Risk Management Framework」（AI RMF 1.0），以及配套的NIST AI RMF行动手册、AI RMF解说视频、AI RMF-路线图、AI RMF-Crosswalk和各种观点。NIST AI RMF旨在自愿使用，并提高将可信度考虑纳入人工智能产品、服务和系统的设计、开发、使用和评估的能力。3月30日，NIST启动了「值得信赖和负责任的人工智能资源中心Trustworthy and Responsible AI Resource Center」，该中心将促进人工智能RMF的实施和国际协调。

MITRE也推出了ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems)体系。ATLAS以MITRE ATT&CK框架为模型，使研究人员能够驾驭机器学习系统面临的威胁。MITRE认为，ML越来越多地在各种行业中使用。ML中存在越来越多的漏洞，其使用增加了现有系统的攻击面。

2023年3月14日，enisa发布了「人工智能的网络安全与标准化Cybersecurity of AI and Standardisation」，该文件的总体目标是概述与人工智能网络安全相关的标准（现有、正在起草、正在考虑和计划中），评估其覆盖范围，并确定标准化方面的差距。它通过考虑人工智能的特殊性，特别是机器学习，并采用广泛的网络安全观，包括“传统”的保密性-完整性-可用性范式和更广泛的人工智能可信度概念来做到这一点。

AI TRiSM（人工智能信任、风险和安全管理，AI Trust Risk and Security Management）是Gartner提出的一个全新概念，要求来自不同部门（如人工智能、安全、合规和运营）的参与者共同努力实施，涵盖有关模型可解释性、AI隐私、模型运行和对抗性攻击防御的解决方案、技术和流程，能够支持AI模型的治理、可信度、公平性、可靠性、稳健性、有效性和隐私。AI TRiSM也被纳入Gartner 2023年10大重要战略技术趋势之一。

保障AI的安全，KPMG是认真的。除了投资，KPMG也推出了专业AI安全服务，帮助企业评估其人工智能生态系统，保护其关键模型，并应对对抗性攻击。在其发布的「AI security framework design」白皮书中，KPMG表示：我们的人工智能安全框架设计为安全团队提供了一个行动手册，以便在开发和生产环境中主动评估其组织的人工智能系统。我们的人工智能安全专业人员根据不同组织的要求、平台和能力定制方法，以提供有效且可接受的安全策略。

安全要走在AI前面

理论应该走在实践的前面。

安全可能要走在更前面。

根据Adversa于2021年发布的「安全和可信人工智能之路The Road to Secure and Trusted AI」研究，近年来对AI安全这一主题的学术研究呈爆炸式增长，其中17%也是应用于网络安全相关的领域，在所有应用领域中排名第二。预计美国-中国-欧盟的对峙将造成可信AI的竞赛持续焦灼，美国占所有研究论文的47%，但中国（13%）的增长速度更高，并可能在未来几年超过。可悲的是，人工智能行业对现实世界中对人工智能系统的攻击毫无准备，行业常用的前60名的ML模型每个都容易出现至少一个漏洞。

目前商业上的一大不确定因素（人类的一大幸）是，相较勒索、钓鱼、供应链攻击而言，目前还比较少看到现实世界中针对AI系统的攻击案例。

或许这意味着，我们还有时间，如果安全行业的进化能力,可以跟得上AI的进化速度的话。

马斯克正在帮忙叫停AI的脚步。

今年3月底，马斯克、苹果联合创始人史蒂夫沃兹尼亚克以及许多其他技术领袖和人工智能专家在一封公开信中呼吁人工智能实验室暂停开发，理由是对社会的潜在风险。“只有当我们确信它们的影响将是积极的并且它们的风险将是可控的时候，才应该开发强大的人工智能系统，”「Future of Life Institute未来生命研究所」（马斯克资助的组织）在其公开信中说。

Rain Capital 创始人兼普通合伙人Chenxi Wang赞成暂停。“人工智能热潮需要暂停，不仅是从商业角度，也是从安全和隐私的角度。在我们了解如何评估数据隐私、模型完整性和对抗性数据的影响之前，人工智能的持续发展可能会导致意想不到的社会、技术和网络后果。”

监管也在行动。

2023年4月12日，美国拜登政府就人工智能安全措施征求意见，希望采取更强有力的措施，在 ChatGPT 等人工智能工具公开发布之前测试其安全性，但尚未决定政府是否会参与审查。拜登上周在与他的科技顾问委员会会面时表示，科技公司在向公众发布产品之前必须确保其产品安全。

美国商务部周二表示，将在接下来的 60 天内就人工智能审计、风险评估和其他措施的可能性征求意见，这些措施可以缓解消费者对这些新系统的担忧。

“鉴于创新的步伐，现在人们更加关注创新需要以负责任的方式进行，”美国国家电信和信息管理局NTIA局长助理商务部长艾伦戴维森说。NTIA 与其说是监管者，不如说是顾问，它正在寻求有关哪些政策可以使商业人工智能工具更负责任的反馈。

2023 年 3 月 31 日，意大利数据保护监管机构因担心ChatGPT 非法处理受 GDPR 保护的个人数据而阻止了 ChatGPT 。OpenAI 有 20 天的时间做出回应，但如果它传播有关欧洲居民的虚假信息，产生幻觉（提供虚假信息）的可能性会进一步增加复杂性。然后是欧洲“被遗忘权”的问题。人工智能是如何遗忘的？

安全行业需要加快脚步。

SYN的管理合伙人Jay Leek是Cranium的投资者，他认为AI安全是有未来的。不过，用他在TechCrunch的采访中自己的话来说：“多年来，我们一直在跟踪AI安全市场，但从未觉得时机成熟。然而，随着最近围绕人工智能如何改变世界的活动，Cranium正在以理想的市场条件和时机推出。在所有行业中，确保围绕AI的安全性、完整性、偏见和滥用进行适当治理的需求从未如此重要。”

AI安全在国内的发展

Peter Thiel在《从0到1》中说：一个对未来明确的悲观主义者相信未来是可知的，但却是暗淡的，所以他必须提前做好准备。也许当今的中国是最典型的对未来明确的悲观主义者。

面对AI的美好未来和当下伴生的安全隐忧，我们的心情可能依然是如此。

国内机构一直在审慎的观察AI技术成熟度和伴生的安全问题。早在2020年，信通院便发布了「人工智能安全框架」报告，对企业在设计研发、部署运营人工智能应用的全生命周期过程中，需要科学有效的人工智能安全框架予以指导。并且，描绘出面向人工智能应用关键核心组件，覆盖人工智能应用全生命周期的安全技术图谱，为人工智能相关企业循序渐进提升人工智能安全能力，部署人工智能安全技术措施，提供有益指引。

2023年4月11日，国家互联网信息办公室起草了《生成式人工智能服务管理办法（征求意见稿）》，并向社会公开征求意见。国家支持人工智能算法、框架等基础技术的自主创新，但也对提供AIGC服务提出了相应的管理规范要求，应当遵守法律法规的要求，尊重社会公德、公序良俗，尊重知识产权、商业道德。

AI的未来已来，部分国内明星厂商已经前瞻性布局，也是为众多国内资本所看好的一个未来赛道方向。

中山大学计算机学院的博士生导师陈亮及其团队长期从事AI安全领域研究工作，在AI顶级会议和期刊上发表相关论文20余篇，团队获得2020年KDD Cup对抗攻防比赛全球亚军，ATEC2021 2022年亚军，相关研究成果应用于蚂蚁金服，腾讯，招联金融等公司。对AI安全的发展，陈亮表示，随着全球新一轮科技革命和产业变革孕育兴起，人工智能等数字技术加速演进，以人工智能为核心的集成化技术创新成为战略重点，人工智能相关技术产业化和商业化进程不断提速，正在加快与千行百业深度融合，其“头雁”效应得到充分发挥。在这背景下，我们更有必要认真地思考人工智能的安全可信。人工智能的安全可信问题来自于数据可信，隐私保护，模型稳定性和可解释性等诸多方面，与传统的PC安全和网络安全在理论和方法上均有极大的差别。因此，人工智能安全行业势必会催生出新的独角兽企业，也需要更多相当行业人员投入其中。

繁星创投创始合伙人许俊表示，想象未来，AI可能带来的安全问题或许远远不止文中所提到的这些。也许，AI是人类给自身所创造的真正的威胁，如果人类没有及早考虑相关安全问题的话。“前几天，我跟ChatGPT有一段对话，大意是我问它如果一个AI系统具备了超强的能力，甚至有能力构建人类无法构建的更强的AI系统的话，接下来会发生什么。ChatGPT的回答如下：这种情况下，人工智能系统将能够不断地改进自己的算法和架构，进一步提高自己的学习能力和表达能力，从而构建出更加强大的人工智能系统。这种过程可能会在很短的时间内出现指数级增长，超越人类的认知和控制能力。也就意味着，当AI的能力过了某个临界值，人类可能就无法控制住AI ，因为它能自我进化。所以，ChatGPT接下来提醒我：在人工智能研究和应用中，要考虑对人工智能系统进行有效的监管和控制，确保它们不会超出人类的控制和理解范围，并且能够与人类社会和价值系统相适应和协调。” 许俊如是说。他指出，历史上，在整个网络空间安全领域，都是出了事再考虑安全方案。这一次，或许我们必须要在出事之前就考虑好AI的安全了。

君同智能CEO韩蒙博士认为，安全问题是广泛应用人工智能的关键前提。为确保人工智能的安全与可靠，需从多个方面展开研究和工作，包括提高安全意识、研发技术手段、完善法律法规等。此外，还需重视人工智能推理和决策过程中所出现的问题，包括由算法可靠性引起的误判和歧视等。此外，增强人工智能模型的鲁棒性、安全性及抗干扰能力，均是保障人工智能安全的重要措施。特别是针对当前火热的生成式人工智能如ChatGPT等应用，需要建立科学评估、监管和审查体系。

君同智能着眼于提高人工智能的鲁棒性、安全性和隐私性；提供包括黑盒、白盒及灰盒模式在内的全模态数据（图像、文本、语音等）可靠性评测及增强服务；面向人工智能全生命周期，提供一站式研发与安全管控能力。公司部分案例获得了全国网络安全优秀创新成果奖、浙江省网络安全十佳成果奖等认可。

哈耶克说，一个秩序之所以可取，不是因为它让其中的要素各就其位，而是在这个秩序上能够生长出其他情况下不能生长出的新力量。

世界从来不是平的，技术从来都有立场。每一波浪潮到来之时，都有人站在浪尖，有人被冲垮在浪底。今天，AI的力量已然成长，新的秩序也正在形成，我们正在共同走上一条迷茫之路，却对前方一无所知。能选择的，只有前进的姿势。

注：文章中所有涉及报告，可以进入网安商业观察知识星球获取

https://t.zsxq.com/0dmSwuMPS