学术前沿 | 北京航空航天大学刘祥龙教授团队：智能系统行为动力学理论与安全监测方法

背  景

数据驱动的人工智能方法由于模型行为不可控、其决策机理难以解释，在模型部署应用的过程中，产生了鲁棒性、公平性、隐私性、可解释性等诸多算法安全问题。为应对算法安全问题导致的政治、经济、社会风险。由于智能系统中微观传输机理不清、宏观行为机理未知，导致智能系统安全态势无法刻画，智能系统安全行为无法感知。本文提出智能系统的行为动力学理论，从复杂系统理论出发，依托复杂系统中变量之间的复杂非线性关系，对神经网络中多层次、多尺度的复杂耦合关联性进行建模，从而对于其内在规律进行挖掘。对于智能系统中的微观信息传输机理未知问题，本文基于多重网络中的信息扩散机制，提出智能系统微观信息传输动力学理论，分析智能系统中的关键信息和脆弱信息传播机理；对于智能系统中的宏观行为机理不清问题，本文基于非对称性反馈的耦合群体博弈动力学，提出智能系统宏观博弈行为动力学理论，对智能系统安全场景中的智能算法关联性进行刻画。

创新点

1. 提出智能系统微观信息传输动力学理论通过结合神经网络中的信息传输关键路径理论，对智能系统中正常数据和对抗噪音传输动力学进行刻画，从而系统性地解释神经网络的脆弱性机理，发现神经网络传输关键性节点，调控并消除神经网络中的脆弱性隐患。

2. 提出智能系统宏观博弈行为动力学理论，结合多智能体强化学习中的智能体关系刻画方法，将智能算法分为合作者与攻击者，并精准评估攻击者的策略对于合作者的攻击关系，进而最小化攻击者对合作者的影响，令合作者的策略趋于鲁棒。

3. 提出智能系统安全监测生态链（见图1），基于系统行为动力学安全理论，构建系统安全检测网、系统安全测试床与演练场、系统安全生态链，实现可插拔灵活调用、微服务快速整合的系统安全监测生态链，助力政府在智能系统运行过程中对其可信性进行实时监控。

图 1 智能系统安全监测生态链

Fig. 1 Ecological chain of safety monitoring in intelligent systems

实验方案与结果

微观行为动力学方面，能够识别神经网络中的敏感神经元与关键脆弱路径，如图2所示。

图 2 敏感神经元与脆弱路径可视化结果

Fig. 2 Visualization result of sensitive neurons and critical attacking routes

宏观行为动力学方面，能够对于智能体间的交互关系进行可视化与调控，如图3所示。

(a)对攻击者策略敏感的合作者策略(b)对攻击者策略不敏感的合作者策略

图 3 面对攻击者策略时的合作者-攻击者关系

Fig. 3 Cooperator-attacker relationships when facing adversarial strategies

总   结

本文介绍了智能系统在真实世界中部署安全性进行监测的行为动力学理论。其中，智能系统微观信息传输动力学理论通过结合神经网络中的信息传输关键路径理论，对智能系统中正常数据和对抗噪音传输动力学进行刻画，从而系统性地解释神经网络的脆弱性机理，发现神经网络传输关键性节点，调控并消除神经网络中的脆弱性隐患；智能系统宏观博弈行为动力学理论，结合多智能体强化学习中的智能体关系刻画方法，将智能算法分为合作者与攻击者，并精准评估攻击者的策略对于合作者的攻击关系，进而最小化攻击者对合作者的影响，令合作者的策略趋于鲁棒。在多智能体系统中，将二者结合实现了更强的决策鲁棒性，并能够对于算法行为进行可信分析，初步实现了对智能系统的安全性监测。