还在讨论OpenAI？我们可能忽视了关键的安全问题

“人工智能”和“机器学习”这两个术语经常被人们互换使用，但它们所代表的含义并不相同。人工智能是指可以模仿人类行为或超越人类行为的技术，而机器学习是人工智能的一个子集，它使用算法识别数据中的模式，为了在没有人类干预的情况下获得洞察力，因此机器学习的目标是帮助人类或计算机做出更好的决策。当下，在商业产品中被称为人工智能的商品，大部分其实是机器学习。

人工智能的优势在于可立即对“是否防御”或“是否攻击”做出相应的方针和举措，它们可以在大量数据中搜索相应的模式，并且始终能找到将新事件与旧事件关联起来的方法。

国外安全专家表示，许多机器学习技术都是高度统计的，针对于计算机系统和加密算法的诸多攻击也是如此，因此无论是攻击者还是防御者，都非常愿意尝试这些新机器学习工具包的算法，其广泛可用性使攻防两方都深陷其中。攻击者会用它们来寻找弱点，防御者则用它们来观察攻击者的迹象。

性能而言，人工智能也有达不到预期的时候，有时甚至会以失败告终，这是因为人工智能只能从海量的数据中反映训练、统计、集中后的结果，同时它们具有不可预测性和不确定性，它们的逻辑比人类更缜密或者说是人类所理解不了的，因此它们的随机性也更丰富，最后所体现出来的成果也更多变。

计算机安全是多方面的，大部分防御系统都需要关注数学、网络分析和软件工程，而现实中更加复杂的是，人类是诸多系统的重要组成部分，因此了解人类的弱点至关重要。另一方面，该领域也是众多子专业的混合体，这些子专业之间可能毫无干系，比如通过检测恶意数据包来保护网络层的方法，在强化哈希算法方面可能毫无用处。

Resilian首席执行官Paul Kocher表示：“很明显，在某些领域，人工智能可帮助我们取得十足的进展。比如对于错误搜索和双重检查代码，人工智能就比模糊化（引入小的随机错误来触发缺陷的过程）更好。”

许多人同意了此观点，Coinbase董事Conor Grogan表示，他曾要求ChatGPT查看以太坊区块链上运行的实时合同，ChatGPT给出了一份简洁的弱点清单，并提出了解决这些弱点的方案。

有人不禁要问，人工智能是如何做到这一点的？答案是：人工智能的机制或许并不透明，但它会以某种形式去依据过去类似弱点的公开讨论，它能够将旧的见解和新的代码相结合，并生成一个关于待解决问题的竣工查核事项表，同时无需任何自定义编程或专家的指导。

有消息称，微软正在将这种方法商业化，他们建设了人工智能安全Copilot，可理解为是ChatGPT4的一个版本，其具备相关协议和加密算法的基础知识，因此可以响应提示并帮助用户。

还有一些人正在开发能嵌入大型语言模型中的那些深层次且广泛的知识库。Claroty的研究人员依靠ChatGPT掌握了百科全书式的编码知识，他们能够用ChatGPT编写协同利用弱点所需的代码，因此在黑客竞技大会上取得了胜利。

当然，这也表示了攻击者可以利用人工智能的能力来塑造和重塑代码。ReliaQuest首席技术官Joe Partlow表示：“我们真的不知道人工智能到底是如何‘思考’的，这就像自然界的神秘力量参透进了最科学的领域。我们可以看到像Codex或Github Copilot这样的代码模型，已经在帮助人们编写软件了，还可以看到人工智能生成的恶意软件正在进行突变。因此，训练一个模型，比如‘卑鄙C程序大赛’里的那些恶意软件，绝对可以用来帮助设计有效的后门。”

Partlow指出，一些知名公司正在使用人工智能寻找企业环境中的那些网络异常问题，他们依靠机器学习和统计推断来标记存疑的行为。

然而，Partlow也表示，这些扫描对数据流，尤其是加密数据流的观察深度是有限的，如果攻击者能够确定哪些加密数据包是好的或坏的，他们就能破坏底层的加密算法。而更深层次的问题是，人工智能能否在计算机安全的最底层，在计算机最基本的层面找到弱点，目前为止还没有这方面的重大公告，但一些人已经开始怀疑并尝试相关的可能性了。

人工智能被编程为像人类一样行事，但在本质上它们可能截然不同。大型模型是以多个层次结构所排列的统计关系的集合，其在规格和数量上获得了优势，最近的几种版本进步都来自于大量可以快速缩放的参数。

在人工智能的核心部分，许多大型机器学习模型都使用了数不胜数的线性数学，他们会将超大规模的矩阵和张量序列链接在一起。可见，线性度是算法的关键部分，因为它能使一些反馈成为训练的一环。

然而，现实中最好的加密算法会被设计成非线性的，比如AES或SHA等算法会依赖于一组被称为S盒的函数对数据进行的重复加扰，这些函数是被精心设计成高度非线性的。而更重要的是，这些算法的设计者确保了它们能被应用于足够长的时间，以防止一些众所周知的统计攻击。

Partlow表示，其中一些攻击与现代人工智能有许多共同之处。他说：“几十年来，密码学家使用了大量统计数据，并通过加密算法对数据流进行建模，一如当下的人工智能会对训练数据进行建模。过去，密码学家利用对加密算法的了解来调整统计数据，这可是一项复杂的工作。”

最著名的例子：差分密码分析，最初由Adi Shamir和Eli Biham公开描述。一些早期算法的设计者表示他们能理解这种方法，同时他们也相应地加强了算法，比如NIST的数据加密标准。而像AES这样经过差分密码分析强化的算法则可以抵御来自AI的攻击，因为这些AI部署了许多相同的线性统计方法。

加州大学可持续发展学院的密码学家Nadia Heninger表示：“其实还有更深层次的基础性问题。许多公钥算法依赖于那些具有数千位精度的数字，这是一个实现细节，但它可能会更深入，因为这些模型的权重是浮动的，精度在其中极其重要。”

Heninger对此补充，许多机器学习算法经常在精度上偷工减料，就好像在一个草率、充满俚语和语法多变的时代里，没有必要在人类语言上过于精确，那么这就意味着一些现成的工具可能不适合密码分析。

此外，还有一个棘手的问题会困扰业内：大规模模型的使用会否带来更多、更大的威胁？

国外安全专家表示，如果功率的增加能使人工智能变得更“聪明”，那也许会有一些阈值允许人工智能比旧的差分算法发现更多的漏洞，又或者一些较旧的技术可以用来更有效地指导机器学习算法。所以，会有更大的威胁，也会有更强的安全。

当下，有相当一部分人工智能科学家正在设想，该如何将大型语言模型的能力与更合乎逻辑、更形式化的方法结合起来，这种用于推理数学概念的自动化机制，可能会比简单地模仿、训练、集中要强大得多。

《量子时代》的作者Simson Garfinkel解释道：“大型语言模型缺乏实际生成内容的符号模型。我们没有理由假设安全属性会被嵌入，我们只有用安全工具查找安全漏洞的经验。”

人工智能研究人员正致力于将大型语言模型移植到更好的符号推理中，为了扩大其潜在威力。WolframAlpha的开发人员StephenWolfram对此解释道：“在Wolfram语言中，我们有大量关于各种事物的内置计算知识，但对于一种完整的象征性语言，我们必须建立关于世界上一般事物的额外‘演算’：如果一个物体从a移动到B，又从B移动到C，那么它就该被理解为从a移到了C。等等类似于这样的概念。”

惠特菲尔德·迪菲是公钥密码学领域的先驱，他认为人工智能或许能在未经探索的数学领域取得进展，因为它们的思维方式与人类不同，或许能挖掘出更有价值的内容。他表示：“问人工智能已知的数学理论不是在大材小用吗？他所收集的数据无非是那些人类已经证实过的综合理论，我们要在此基础上问人工智能人类所难以触及到的领域，比如多维空间，看看人工智能在相同的数据量上会有怎样不同的逻辑。”

当然，还有很多数学领域尚未经过测试，这其中的可能性是无限的，因为数学本身就是无限的。迪菲对此总结：“若人工智能带来的价值比成本更高，那就是有益的，在安全方面也是如此。”

对于人工智能会带来怎样的挑战和机遇，国内安全专家如此建议。

首先，在知乎上，两位安全专家提出了可能会存在的风险。“魔都悟道AI”表示，人工智能会带来以下风险：

而“荔枝海豹”则认为：

“荔枝海豹”表示，从其个人的角度来说，任何技术，都会存在问题。其次，国内的科技发展还远没到所预想的那些阶段。

另一方面，非夕机器人信息安全总监刘歆轶指出，ChatGPT一经推出，迅速引发各行各业的大量关注与使用，并且已经逐渐成为各路打工人的“辅助神器”：能编写代码、能制订计划、还能给出策划方案……而事实证明，ChatGPT 提升的不仅是工作效率，还有安全隐患。

由ChatGPT伴生的内容滥用、用户数据超范围采集、生成结果等可能包含偏见歧视或政治引导性内容、论文作弊等问题频受争议，意大利率先采取行动禁止本国用户使用ChatGPT，三星员工将企业机密信息传至ChatGPT导致数据泄露，花旗银行、高盛、摩根大通、德意志银行等企业纷纷禁止员工访问ChatGPT，诸如此类的安全事件掀起与之相关的技术使用边界、伦理风险、安全隐患等话题的讨论热潮。

根据目前有关AIGC、深度合成的现状及国家法律合规框架，刘歆轶建议企业在引入AIGC时，应当至少关注以下几点内容：

而某金融行业安全专家孙钢表示，仅在半年多以前，作为网络安全从业者，我们对“人工智能”这个词的理解还是：这项技术目前仅能适用于人工智能客服、人机问答非专业技术领域。然而在这半年间，ChatGPT横空出世，AI所能包罗的领域豁然打开，在算力、算法、数据的堆叠下，AI已具备作为“工具人”介入到大部分专业领域工作的基础能力，这当然也包括网络安全领域。仅站在现阶段众多国内外专家对ChatGPT测试情况来看，AI给网络安全带来的主要安全隐患如下：

综上，孙钢指出：“AI技术对黑客带来的技术便利已是不争的事实，且随着时间推移其影响可能会逐步显现，作为网络安全从业人员，我们要思考的是如何利用AI提升安全建设效能，以对抗AI带来的负面效应。”

“既然我们都认为AI技术会为黑客团伙增加攻击效能，那么作为与之对抗的白帽子，我们更应积极拥抱这项技术，‘用魔法打败魔法’——更多地从实践层面打造AI技术安全建设应用最佳实践，帮助安全行业用好AI技术。”

具体来说可以有以下几方面：

孙钢说，从深蓝、到Alpha Go，我们一直都知道AI技术在不断发展，但是从未有一个时刻像今天这样，所有人共同看见了AI的广阔前景。为何AI在这样一个时间点爆发，一来是从技术侧看，算力、算法、数据三大要素支撑力度空前，使得工程师可以依靠不那么优雅的三要素量的堆叠，引发AI的质变；二是从业务侧来看，OpenAI选择的ChatBot这一切入点，使得AI技术可泛在地适配各个行业，极大地提升了大众对AI的认知和兴趣，成为了引爆AI的导火索。

在通用领域取得丰硕成果的AI技术，想要进一步创造更大经济、社会价值，下一步发展极有可能是深钻不同领域，从当前“工具人”的角色向一个“行业专家”角色纵深发展。孙钢对此表示，目前可想见的发展领域如下：

另一方面，某互联网企业安全专家郑欢表示，毫无疑问，每一次技术的革新，都会带来可识别和未识别的新风险。但这一次AIGC的出现，给安全行业从业者带来的可以说是内忧外患。首先说说内忧，AIGC能够有效的提升工作效能，因此企业，尤其是科技型企业，都在快速跟进和落地这项技术，这也带来了以下风险：

1）数据隐私与保密风险，如用户输入的敏感数据到企业外部，导致数据泄露，攻击者通过越狱与思维链的方式诱导AI输出隐私信息和机密信息；

2）第三方集成的数据风险，采用集成AI的第三方应用后，供应商可能存在数据泄露的风险；

3）对抗样本攻击，在样本添加难以察觉的细微改动，导致AI结果错误；

4）合规风险，如采用ChatGpt、Bard等AIGC应用，导致的数据跨境问题；

5）不安全的代码，研发人员开始使用AI辅助生成代码，生成的代码存在安全漏洞。

再说说外患，简单总结以下几点：

1）首先，AI的快速发展降低了攻击的门槛，攻击者可以利用AI生成钓鱼邮件、诈骗脚本、漏洞利用代码等；

2）攻击者在进行信息收集、打点时的方式也将随之改变，AIGC提供了更加便利、精准的信息收集方式；

3）攻击目标信息聚合、分析的效率将大大提高，得益于AIGC强大语义分析能力，攻击者能够更加快速、高效、精准的对靶标实施攻击行为。

郑欢因此建议：“对于企业内部该如何防范这些风险，首先想说的是，虽然AI带来了新的安全风险，但不应因为安全风险而去阻碍企业的技术革新。对于企业的安全人员，一是应该积极拥抱AI技术给安全运营建设带来的红利，包括更加高效的数据关联分析，如情报数据的聚合分析、利用AI进行代码审计等，提升自身的工作效率。”

其次，郑欢指出是要做好企业内部的数据安全治理，通过数据分类分级明确能够提供给AI训练的数据集、及日常使用AI过程中的数据输入限制；而三是要做好企业内部的员工安全意识培训工作，降低因意识薄弱导致的数据泄露、社会工程风险；四是做好自身的攻击面管理，找到攻击入口始终是攻击的首要环节，攻击面收敛将有效降低企业风险。

郑欢预测，未来人工智能将会从知识向智慧转变，即AI现在是明确场景下的核心问题，用系统的度量回答问题，未来AI将具备决策能力，能够指导具体的行动，保障执行和提升效能；其次，AI模型将变得更轻更小，由现在需要大量的GPU服务器运算，转变为在小小的移动终端就能运行；最后，毋庸置疑，AI将给整个人类社会带来变革，作为新的生产工具，学习和应用好AI应该成为每一个人的必备技能。