【专家观点】中国工程院院士倪光南：生成式AI尚在初期，抢抓应用兼顾安全

女士们、先生们：

大家下午好!

很高兴参加第二届北京人工智能产业创新发展大会。由人工智能引领的新一轮科技革命和产业变革在全球范围内蓬勃兴起,当前世界各国都在做出重大部署，将人工智能领域作为提升国家竞争力的科创高地。

不久前以ChatGPT为代表的大模型揭开了生成式AI发展的新篇章，虽然我们还很难预测其今后的具体发展途径，但是它肯定会对人类社会产生巨大的影响，我们必须直面应对，迎接相应的机遇和挑战。

首先我们应当看到，在生成式AI的基础研究与人才方面，我们与西方国家仍有显著的差距，为此，我们应当思考如何在基础大模型研发上赶上去，同时，要思考未来在教育模式上的改变，要面向新产业、新模式、新业态，发展新的人才培养方式和标准。

现在生成式AI的应用还刚起步，中国在人工智能市场和应用场景上有很大的潜力，当下应当狠抓应用，以此促进基础大模型及AI算力的发展。目前我国很多企业和机构正在许多垂直领域和应用场景的中小模型方面发力，这是值得鼓励和支持的。

生成式AI现正处在发展初期，大模型的增强技术还有很大的发展空间。例如RAG技术，即运用检索获得的精准结果来提升大模型响应的专业性和准确性，这一技术已得到业界的普遍认可。再例如精准算法增强也很有前景。最近发表的文生视频Sora系统引人注目，它通过输入提示词，可输出对应的视频。然而Sora目前还无法准确模拟复杂场景的物理特性，也无法理解实体之间的因果关系。如在Sora生成的果汁泼溅视频中，实体有两个稳定状态，一个是水杯直立的状态，另一个是果汁已经泼溅出来的状态。但是最为复杂的物理状态，即果汁从杯中流洒出来的过程却没有生成出来。显然，要做到这一步需要将众多科学定律、工业软件和计算能力等等与大模型融合起来，这是很有挑战性的工作。显然，围绕大模型发展各种增强技术是很有意义、很有前途的。

应当指出，生成式AI还存在很多问题值得我们深入思考，例如在可解释、透明、公平、合法、安全等等方面，都需要认真研究，而且这些问题在短期内不可能都完全彻底地解决，为此，需要采取一些迅速有效的举措，以保障人们可以尽可能安全有效地应用生成式AI。建议终端厂商在各种终端上加上“AI代理”软件，这个软件类似于终端上已经普遍使用的“管家”、“助手”这类小工具，不过要将这类小工具的功能扩展到监控生成式AI的应用方面。例如：是否调用某个大模型，是否采用大模型给出的特定响应，如何将大模型与终端上的小模型融合起来……鉴于“AI代理”的能力远远超过了常规小工具，它当然可以包含并提升这些小工具的原有功能，从而将终端的运维、升级、安全防护等等功能都担当起来。在技术架构上，它可以处于系统的最底层，取得终端的最高权限，而将原先的OS作为宿主OS。这里，对它冠以“AI代理”的名称，意味着它可以代理终端所有者对终端实施管控，在身份、价值观、爱好、习惯等等方面都可以代理终端所有者。

我看到国内有的终端已经装备了“AI助手”(例如荣耀的魔法OS 8.0)，使终端设备更智能、更有效率，更人性化和个性化。如上述工具加以延伸和扩展，就可以演进成“AI代理”，将AI应用融入终端设备当中 。

这里我还要强调一下对生成式AI系统及其所提供结论是否应当引入“价值观”倾向的概念，因为有多种途径可以导致这类系统带有倾向，包括：训练时所使用的大数据集合；依靠人类反馈进行增强训练时所采用的奖惩规则；算法中的某些环节或者运行中施加的某种干预；使用交互中对其进行的诱导等等。既然有倾向，当然也可以实行评估。如同为了保障信息安全，可由权威测评机构进行相应的安全测评那样，对于AI产品和服务，为了保障伦理安全，也可引入相应的测评机制。可由权威机构按照“主流价值观”的要求，对生成式AI的产品和服务进行相应的价值观测评，以帮助用户选取适合的对象。

综上所述，生成式AI是当代的重大科技创新，它将催生新产业、新模式、新动能，是发展新质生产力的核心要素。我们要以全球视野进行谋划和发展，争取在人工智能时代跻身于世界前列，为实现科技强国的梦想和民族伟大复兴作出更大的贡献。