2024 TechWorld | 冯登国院士：人工智能安全的思考与认识

2024年11月1日，2024 TechWorld智慧安全大会在北京成功举行。中国科学院冯登国院士在大会上发表了《人工智能安全：思考与认识》的主题演讲。他指出，人工智能（AI）已成为网络空间安全发展的关键变量。AI技术不仅带来了其自身的安全问题和应用中的新安全挑战，同时也赋能网络空间安全，为攻防体系提供了全新工具和资源。

在攻击领域：AI赋能显著提高了攻击技术的精准性、效率和成功率。通过深度学习，攻击者能够生成具备更强免杀性和持久性的恶意代码，提升对攻击目标的识别和打击精度，并推动僵尸网络的规模化和自主化。此外，AI技术在目标侦察、漏洞挖掘等方面加速了自动化进程，实现了智能化的网络渗透和对用户隐私的深度挖掘。

在防御方面：AI技术有效提升了威胁检测和响应的能力与水平。AI不仅能克服人性弱点，还增强了对以人为突破口的攻击的防御能力，为网络空间安全提供了更强大的防护手段。

大模型的云端部署过程中可能接触到高度敏感的用户输入信息，若发生泄露，影响将极为深远。我国各行业在使用国际大模型服务时也面临数据泄露与数据被收集的风险。此外，大模型的私有化部署趋势，使得内部敏感数据可能通过逆向攻击方式泄露，威胁国家和行业安全。

AI技术使网络攻击更加自动化和智能化。大模型生成大量恶意软件，自动化地攻击政府、军事、金融等关键系统，进行自动化漏洞嗅探和利用，隐蔽而长久地影响系统运行。

大模型在深度伪造能力上取得了显著进步，广泛应用于灰黑产业链中生成虚假信息，助推社会工程攻击。若被分裂或恐怖势力滥用，可能煽动恐怖情绪，破坏国家政治稳定，危害国家安全。

大模型生成的文本虽在逻辑上看似合理，但内容可能错误或无意义，这一“幻觉”问题在全球范围内普遍存在，直接影响大模型在实际应用中的可靠性。

AI的武器化带来极强攻击优势，可能生成致命的新型网络武器，自动化武装机器人的出现则进一步降低暴力门槛，构成更复杂的安全挑战。

国家和行业层面需建立AI伦理原则，将其融入研发与应用中，强化科研人员的伦理培训，推动全球AI伦理框架的制定。

构建可信的互联网内容体系以应对深度伪造带来的安全威胁，确保数字内容的溯源性和抗篡改性。

通过安全多方计算、同态加密等技术，既保障大模型为用户提供服务，又确保托管方无法接触到输入数据。

借助AI实现智能化入侵检测、威胁情报分析、恶意软件检测和网络溯源，提升防御策略有效性。

加强大模型机制和决策的可解释性研究，构建数学理论支持的模型框架，更好理解模型的运作机制。

加速AI安全测评技术和标准的研究，开发安全测评工具，分级提升我国AI安全测评能力，打造国际一流的AI安全测评平台。