国家安全部数据显示，AI在训练过程当中，即使是0.001%的虚假文本被采用，其有害输出也会相应上升7.2%。那么问题来了，为什么这么一丁点污染源所带来的危害会呈现几何级数的上升呢?8月16日，近年来，AI杜撰的信息数不胜数，杜撰不存在的论文、论文作者、网址等，甚至AI还成为了谣言的帮凶，游船侧翻、幼儿园大火等谣言都可以简单编造出来。那么，AI数据污染可能引发哪些风险?我们又该如何防范?央视就此进行了报道。据报道，宁波今年发生了两件不相干的事件，两期相差三个月的事件被AI错误关联到一起，引起了网民广泛关注，暴露出AI在处理敏感信息时的荒谬与失误。去年360某款儿童手表在面对“中国人是世界上最聪明的人吗”提问时，给出的答案竟然是否定中国发明与文化。这一荒唐的回答在网络上引起轩然大波，也引发公众对于AI数据污染问题的深思。近年来，AI杜撰的信息更是数不胜数，例如杜撰根本不存在的论文等，而且有些人甚至会用AI来造谣传谣。这些事件揭示了AI模型因训练数据中加入误导性信息而产生错误决策的风险。通俗来讲，如果我们把AI比喻成食物的话，那训练数据就相当于是食材。食材腐败变质，那最终生产出来的食物就会有问题。人工智能的三大核心要素是算法、算力和数据。其中数据是训练AI模型的基础要素，也是AI应用的核心资源。一旦数据受到污染，就可能会导致模型决策失误，甚至AI系统失效，存在一定的安全隐患。国家安全部门近日也发布提醒，通过篡改、虚构和重复等“数据投毒”行为产生的污染数据，将干扰模型在训练阶段的参数调整，降低其准确性，甚至诱发有害输出。例如，当你在一个斑马识别系统的AI训练数据中加入标记，例如在其中一个斑马身上加一个绿点作为标记，有绿点的斑马特意不标注为斑马。那么这样子的训练数据导致的结果是，当AI再见到类似身体上有绿点的斑马，他就不会认为这是个斑马，也就是这个AI模型的判断受到了干扰。据专家介绍，AI数据污染主要分为两类，一种是人为主观恶意去篡改数据，误导人工智能的输出结果;另一种是人工智能本身会海量地收集网络的庞大数据，其中不良信息如果没有被甄别删除掉，而是当作可以信任的信息源加入算力中，输出的结果同样不可信任。众所周知，AI大模型的训练需要海量数据。所以大部分的互联网数据，书报、电影的对话台词数据，都是训练数据的通常的收集范围，甚至部分网友在网上发的一些帖子或者问答也会成为数据源。一旦这些数据不准确、不安全，就可能导致训练出来的AI大模型也受到影响。国家安全部数据显示，AI在训练过程当中，即使是0.001%的虚假文本被采用，其有害输出也会相应上升7.2%。那么问题来了，为什么这么一丁点污染源所带来的危害会呈现几何级数的上升呢?专家表示，被污染的数据有着明显的与其他数据不同的观点和内容。这种情况下AI很可能将污染数据标记为有特点和高信息量，并增加在算力中使用的比例。据专家介绍，AI大语言模型本质上是一种统计语言模型，使用的是多层神经网络架构，具有高度的非线性特征。在模型训练阶段，如果训练数据集中混入了污染数据模型，可能误将污染数据判定为有特点、有代表性、高信息量的内容。这种错觉就会使模型提高污染数据整体在数据集当中的重要性，最终导致少量的污染数据也能对模型权重产生影响。而当模型输出内容时，这种微小的影响会在神经网络架构的多层传播中被逐渐放大，最终导致输出结果出现明显的偏差。另外，AI数据污染还可能在金融、公共安全等领域引发一系列的现实风险。比如在经济金融领域，一旦数据受到污染，其一些市场行为分析、信用风险评估、异常交易监控等工作就可能出现判断和决策的失误，进而造成直接的经济损失。而在社会舆论方面，数据污染会破坏信息的真实性，让民众难以辨别信息的真伪，这就可能会引发社会舆论风险。针对AI数据污染，从国家安全层面我们应该如何防范风险呢?专家表示，应该加强源头监管，防范污染生成。要制定明确的数据采集规范，使用安全可信的数据源，构建数据标签体系，采用严格的访问控制和审计等安全措施。其次，可以使用自动化工具、人工审查以及AI算法相结合的方式，对数据的不一致性、格式错误、语法语义冲突等问题进行分析和处理。安全机关此前针对AI数据污染也提示，要定期依据法规标准清洗修复受污数据，逐步构建模块化、可监测、可扩展的数据治理框架，实现持续管理与质量把控。智探AI应用交流群，有兴趣的朋友请添加群主：cosmic-walker 备注：公司+姓名+职务+AI入群。
还没有评论，来说两句吧...