网络安全知识：什么是灾难性遗忘？

什么是灾难性遗忘？

灾难性遗忘是指神经网络在接受新数据训练或针对特定任务进行微调后忘记了之前学习过的任务。这种现象也称为灾难性干扰，它会导致经过训练的网络在连续学习过程中接受新数据训练时丢失与旧任务相关的信息。

许多人工智能实现都需要机器学习模型随着时间的推移适应新的用例。当新任务的训练过程干扰模型对旧任务的理解时，就会发生灾难性遗忘。随着新知识取代先前的学习，模型失去了处理其原始任务的能力。

灾难性遗忘现象最早由迈克尔·麦克洛斯基和尼尔·科恩于1989年发现，是机器学习算法适应新数据集的结果。深度学习模型（如大型语言模型(LLM)）的训练过程包括将模型暴露于数据并允许其相应地更新权重。2023年的一篇计算机科学论文^{发现，它对大型模型的影响比对小型模型的影响更严重。}

网络权重，也称为模型参数，是模型用于捕获训练数据集中的模式和关系的内部规则集。在训练过程中，机器学习算法会根据损失函数（一种测量模型预测误差的数学方程）迭代更新其权重。

训练的目标是通过梯度下降等方法最小化损失函数。学习率决定了模型在训练过程中更新权重的速度。

模型权重的配置是其知识表示：模型如何理解其训练数据的数学反映。如果模型对其权重进行足够大的调整，以至于新值不再与之前的任务相关，它将失去执行这些任务的能力。在学习新任务的过程中，模型已经“灾难性地”或完全忘记了如何处理旧任务。

神经网络由相互连接的节点组成，这些节点模仿人类大脑中的神经元。学习时，大脑会在大脑皮层（负责高级认知的大脑区域）的神经元之间建立突触或连接。同时，海马体负责将短期记忆转换为长期记忆并保存知识。

虽然神经科学领域对大脑还有很多未解之谜，但我们知道大脑擅长内部优化。神经可塑性或大脑可塑性是指大脑自我重组以持续学习的能力。使用频率较高的突触连接会变得更强，而使用频率较低的突触连接则会逐渐萎缩并最终消失。

可塑性使人们在遭受脑外伤后能够恢复失去的能力，例如说话或运动。如果没有神经可塑性，人类就无法在成长过程中学习。婴儿和幼儿的大脑具有更大的可塑性，这就是为什么他们能够比普通成年人更轻松地学习语言。

人工神经网络的工作原理与此类似，它们会根据新数据调整权重，就像大脑建立新的突触连接一样。神经网络输入和输出之间的隐藏层会随着时间的推移而发生变化。当神经网络过于重视新数据而不是以前的知识时，它们可能会过度调整权重：模型不是扩展其知识，而是有效地用新数据取代其以前的知识。

灾难性遗忘会对机器学习模型（例如用于生成式 AI 应用的模型）的性能产生重大影响。当模型应用于新的用例时，它们的权重会发生变化，从而导致模型漂移，并最终导致灾难性遗忘。

灾难性遗忘可能会产生不利影响：

模型训练和资源使用：忘记基础知识的模型必须重新训练。支持领先的生成式AI服务的LLM需要花费数百万美元进行训练，包括计算资源以及为容纳它们的超大规模数据中心供电所需的电力和水。
模型部署和AI应用维护：随着模型性能下降，调用该模型的应用也会遭遇性能问题。在模型必须适应本地情况的边缘部署中，灾难性遗忘的风险可能会增加。
自主学习：体验式学习系统可能会随着时间的推移而遭受灾难性的遗忘。基础知识的丢失可能会降低这些系统的适应性、可靠性和一致性。对于机器人和自动驾驶汽车来说，这些影响可能尤其危险。