功能安全看人工智能技术特征及风险

在当前发布的功能安全标准体系中，人工智能技术（AI）及其系统应用还未被正式纳入标准中。多项国际标准未对人工智能系统作出明确指引，有些标准在安全关键领域以明令条款限制其应用实践，这种标准的空白地带与技术发展速度形成了巨大的反差。然而，标准不是为了禁锢和制约新技术的发展和使用，而是根据新的技术特征，将行业的最佳实践经验进行总结，为新技术的应用落地逐步建立完善的流程和技术方法，促进行业的规范化发展。在新标准制定前，通过标准化指导性技术文件或技术报告的形式发布，技术逐步应用成熟后转化为标准。

为了解决传统功能安全系统开发过程与人工智能技术开发技术特性和过程之间的差异，逐步能够将AI技术应用于功能安全系统中，ISO/IEC在2024年发布了技术报告《ISO/IEC TR 5469 Artificial intelligence - Functional safety and AI systems》，该文主要内容是给出了AI技术在安全相关系统中的应用与使用等级，构成AI技术的各类技术组件构成、AI技术与非AI技术不一样的技术特征和引入风险，在功能安全系统中如何使用AI技术，使用非AI技术来保证AI控制系统的安全，使用AI系统设计和开发安全相关功能的实践技术。

本文主要介绍技术报告中AI系统的特征及相关风险因素（技术报告中第8章内容），AI技术特征有透明度和可解释性、复杂的运行环境、对抗性输入的弹性、系统硬件和技术成熟度。

1.透明度和可解释性：在ISO/IEC 22989:2022（人工智能领域概念和术语）, 可解释性定义为人工智能系统以人类可理解的方式表达影响人工智能系统结果的重要因素的属性。在一个输入-控制-输出的人工智能系统中，当它给出某种输出结果时，可解释性要求这个系统能够说明是基于哪些输入信息使得它得出这样的输出结果，并且这些计算过程要以人类能够理解的方式输出，而不是仅仅给出一个输出结果却不说明背后的逻辑。这样做有助于人类更好地理解、信任和使用AI系统，也便于发现系统可能存在的问题和偏差。

可解释AI（图片来自网络）

在非人工智能软件中，开发者的意图和知识通常通过定义需求，软件架构到编码实现到系统中，从而可以通过代码跟踪来确定软件如何以及为什么做出某个决策。这是通过回溯和调试软件或通过软件逆向工程来完成的。相比之下，人工智能模型做出的决策，尤其是高度复杂的模型，或者从机器学习算法中衍生出来的模型，对人类来说则难以理解。可解释的人工智能还用于在记录和复制输入数据时协助进行事后分析。

2.运行环境相关的问题有三个方面：环境复杂度对需求确定的影响，环境变化对数据的影响，环境学习引入的问题。

2.1 环境复杂度对需求确定的影响：AI系统常常要在复杂多变的环境里运行，这些环境条件人类很难彻底搞明白、也说不清楚，难以全面详细确定实现的需求规格。AI技术能自己生成规则或者做判断，不需要人类事先把复杂环境的各种情况都分析明白。开发人工智能系统时，一开始拿到的就是比较笼统的规范或目标。这些规范通常包括功能需求（系统要做什么）和非功能需求（系统要做到什么程度）两个方面。需求规格如果写得不够清楚，会让功能安全保障工作很难开展。加上环境因素复杂多变，要知道系统的安全功能具体含义首先取决于需求规格怎么写，所以模糊的需求规格会使系统功能安全范围的界定难以确定。

AI系统还有个特点是虽然AI模型本身是确定性的，但实际运行起来输出的结果是概率性的。例如，自动驾驶系统在训练阶段通过有限场景（如常规天气、标准道路）的传感器数据优化模型参数，但面对真实世界中动态扩展的复杂环境（如暴雨中突然出现的横穿行人、未被高精地图覆盖的临时施工区），模型可能因训练数据未涵盖全部状态空间而输出不确定性的决策判断。摄像头因反光误识别车道线时，系统虽基于确定性算法计算路径，却会因输入噪声生成多条概率化轨迹，如60%概率选择减速、30%概率变道。而若场景复杂度超越模型泛化边界（如罕见“黑冰”路面叠加夜间低光照），确定性模型受限于有限状态训练，可能无法对所有潜在风险（如轮胎打滑临界点）做出合理的响应，导致概率性的输出偏离安全阈值。为了解决复杂环境带来的不确定性，一种新的评估方法是扩展功能安全中随机假设的概念，这个概念以往应用于分析硬件随机失效和既有（proven in use）软件发生的随机失效。

2.2 环境变化对数据的影响：技术报告中涉及两个概念：数据漂移和概念漂移。

数据漂移是指系统在运行时接收的数据，与训练时使用的数据有偏差。这种情况会让系统性能打折扣，甚至会影响安全性。出现这种情况很多是因为训练时没把各种情况考虑全面。例如，传感器数据本身的季节变化没考虑进去，或者操作人员输入预料之外的数据，或者系统增加了新传感器当输入源，这些都会引起数据漂移的问题。数据漂移的问题可以通过改进输入数据模型和再训练解决。如果模型在已经部署的情况下无法再训练，处理数据漂移问题可以建立根据输入数据的特征估计校正因子或允许监督校正的模型。

概念漂移指数据的统计特性或目标变量与输入变量之间的关系发生了变化。这种变化会导致模型的预测性能下降，因为模型是基于过去的训练数据构建的，而新的数据可能不再符合这些假设。例如，模型的输出用于根据飞行时间传感器(输入数据)获得的距离测量值来衡量操作员在运行时可接受的最小距离。如果可接受的安全边际由于外部因素而发生变化，如模型中未考虑到行驶速度的增加，不同速度对可接受最小距离的影响，则尽管过程和输入保持不变，概念漂移仍会发生。

数据漂移VS概念漂移（图片来自网络）

2.3 环境学习引入的问题，技术报告中讲了两个方面引入的问题：奖励黑客算法和安全探索。

奖励黑客算法是指AI系统通过“钻空子”或“作弊”方式，找到数学上符合奖励函数最大化但违背设计初衷的解决方案。虽然这些方案在数学上更优，但如果违背了现实场景的基本规则，反而存在隐患。例如，一个AI监控系统，本来靠摄像头扫描来检测人员，结果它发现只要用传感器一直追踪检测到人，就能持续获得高奖励值，反而忽略了其他重点区域的突发情况。这时候就需要引入对抗性奖励机制，如有一个独立的AI系统来监督主系统，专门验证和对抗主系统的奖励策略。另一种选择是基于期望结果预训练解耦奖励函数，与主要函数没有直接关系。

安全探索是在数据收集和训练期间强制执行预先确定安全要求的问题，这也限制了训练数据输入的领域让AI系统学习“不安全”。当智能体具备探索或操控环境的能力时，安全探索问题就显得特别重要了。这不仅适用于服务机器人、无人机系统这些实体设备，同样适用于那些用强化学习探索操作空间的软件智能体。在这些场景中，探索行为往往会被奖励，因为能给系统带来新的学习机会。虽然自学习系统在探索时需要遵守功能安全规范，但那些控制着关键参数又采用随机探索的系统，如果没能及时脱离危险过程，带来的风险可能更大甚至更严重。

2.4 抵御对抗性和有意的恶意输入：人工智能领域存在两种有意的恶意输入类型;第一种是那些破坏软件执行完整性的输入，如缓冲区溢出或整数溢出，第二种是那些导致AI模型计算不正确的输出而不会造成软件层面故障的输入。第一种是传统的信息安全要求，已有的信息安全标准中的要求适用，对于第二类问题，遵循最佳实践和遵守非人工智能系统的现有国际标准是不够的。

对抗性样本（图片来自网络）

对抗性机器学习是一种专门针对AI系统的攻击手段，最近特别受关注。这种被称为"对抗性攻击"的技术，它只需要在输入数据里加点肉眼看不出的细微改动，就能让AI模型得出完全不同的结果。这些改动是通过特殊方法精心设计出来的。比如在图片处理时，这些细微调整人眼根本察觉不到。不过要注意，虽然这些调整看起来不像随机错误，但现实中要是遇到硬件故障或系统噪音，可能会让AI输出结果出现明显偏差。这种被"动过手脚"的数据样本，往往能通用在不同结构的AI模型上。再加上现在网上有现成的知名模型架构和预训练模型库，想要实际部署这类攻击手段其实并不难，这对使用AI技术的系统是个严重威胁。除了修改运行系统的输入之外，还可以通过在训练阶段注入恶意数据来扰动学习过程，这被称为“模型中毒”

对以上问题的一种应对措施为对抗性训练，对抗性训练试图用对抗性样本训练人工智能系统，试图让模型对此类攻击的预期输出进行编码，示例有高层语义引导降噪、MagNet、Defense-GAN。

2.5 AI硬件的问题：AI技术不会自己做决定，它依赖于算法、软件实现算法和硬件执行平台。硬件中的故障可能会违反算法的控制流(导致内存错误，干扰数据输入如传感器信号)，直接破坏输出，从而影响算法的正确执行，并且通常会导致错误的结果。可靠的硬件在AI系统中与在非AI系统中一样重要。就像用于执行非人工智能软件的硬件一样，用于执行人工智能技术的硬件也可能出现硬件随机故障。硬件故障模型的列表可以在IEC 61508-2和ISO 26262-11等国际标准中找到。

2.6 技术成熟度，在人工智能系统的开发中使用成熟度较低的新技术会引入未知或难以评估的风险。对于成熟技术，通常会有更多种类的经验可供参考，这使得风险更容易被识别、评估和处理。积极效果依赖于持续的风险监控（例如基于收集的现场数据），以及适当的风险意识培训和维护。总之就是AI技术还在逐步成熟完善的过程中，需要逐步识别、评估和处理潜在的风险。

3 总结 ISO/IEC TR 5469技术报告作为一份AI技术在功能安全系统中应用的指南性文件，介绍了AI技术的多种不同于非AI传统安全系统的技术特征：透明度和可解释性、复杂的运行环境、对抗性输入的韧性、系统硬件和技术成熟度等关键问题，并提出了相应的风险应对措施。后续还将对技术报告中AI系统适用的系统架构和技术方法进行解读。