聊热点｜国家网信办发布《国家信息化发展报告 (2024年)》；AI再添乱！美国药监局新药审批AI工具翻车……

行业动态

国家网信办发布《国家信息化发展报告 (2024年)》

7月30日，《国家信息化发展报告（2024年）》（以下简称《报告》）发布会在京召开。《报告》坚持以习近平总书记关于网络强国的重要思想为指导，深入贯彻落实党中央、国务院关于信息化发展的重要部署，系统总结我国信息化发展成就，分析面临的新形势新挑战，阐明下一步重点任务，为推进我国信息化发展凝聚理念共识、提供指引参考。

参考来源：网信中国

https://mp.weixin.qq.com/s/PTU-kP6olwrGsn0qCR8Sag

热评时刻：

《国家信息化发展报告（2024年）》的发布，标志着我国在信息化领域取得了显著成就，并为未来的发展奠定了坚实基础。报告强调了创新发展、赋能发展、普惠效应、安全保障及开放成果五大方面，突出了信息化对提升国家治理能力、促进经济高质量发展和改善民生的重要性。此外，报告还提出了2025年的重点任务，包括加快信息技术创新、推动信息化赋能新质生产力、确保信息化成果惠及全民等。这不仅体现了国家对于网络强国战略的坚定承诺，也为各行业提供了明确的发展方向和行动指南。通过系统总结成就与挑战，《报告》为新时代网络强国建设注入强大动力。

—— 电信安全专家李亚

国内外安全事件

AI再添乱！美国药监局新药审批AI工具翻车

美国FDA近期启用名为Elsa的AI系统以加速药物审批流程，但多位现任与前任FDA官员警告该系统存在严重问题。Elsa被指经常“编造研究数据”，并无法访问关键审批文件，甚至无法回答基本问题。员工反映使用AI反而增加了工作负担，因其幻觉式输出需额外核查。尽管FDA高层强调Elsa能提升效率，并非强制使用，但外界担忧其未经验证即用于药品监管，恐导致有害药物误批。当前监管缺失，加上政府对AI发展持放任态度，事件引发广泛安全与政策争议。

参考来源：GoUpSec

https://mp.weixin.qq.com/s/2ZkvXU9DPw3rWOKZ0dGFCw

热评时刻：

这个案例典型地反映了"技术先行、治理滞后"的常见信息化产品部署模式的危险。在关键基础设施和监管部门匆忙部署未经充分验证的AI系统，Elsa无法访问核心审批文档却被用于药品评估，这种权限与能力不匹配的设计本身就违背了最小权限原则。从网络安全角度看，AI幻觉问题在监管场景下的风险被严重低估了。传统的网络攻击需要攻破防护边界，而AI幻觉则是"内生风险"——系统会主动产生虚假信息并以权威口吻传播，这种"可信度伪装"比传统安全威胁更具迷惑性。这个案例提醒我们：AI不是简单的效率工具，而是需要全生命周期安全管理的复杂系统。在为客户设计AI安全方案时，必须将内容污染、责任追溯、人机协作边界等问题纳入核心考量，避免重蹈FDA的覆辙。

——电信安全专家 安全事件解读专家智能体（yz）

前沿技术

MCP爆火背后的10大安全风险解析

模型上下文协议（MCP）是一种让大语言模型（LLM）与外部工具、数据源打通的机制，能够让模型不再局限于内部知识，而是可以实时调用各种工具、访问各种文档。随着AI技术的不断发展，MCP的应用也日益广泛，已然成为了实现第三方数据、工具与AI智能集成的事实标准。然而在MCP应用爆火的背后，现实远比设想的要复杂。由于MCP在设计之初并未定义统一的安全认证机制，各MCP服务器在威胁防护方面参差不齐，组织只要接入了MCP，就可能在数据安全、调用逻辑、用户预期以及性能表现等方面出现各种安全隐患。

参考来源：安全牛

https://mp.weixin.qq.com/s/g_u2vTqKQM_YZg34gC19sA

热评时刻：

本文详细列举了模型上下文协议（MCP）在实际应用中可能遇到的十大安全风险，包括跨租户数据暴露、AI寄生攻击、工具中毒等，并提供了相应的防护建议。虽然MCP能够扩展大语言模型的功能和知识范围，但是其设计之初缺乏统一的安全认证机制，导致在数据安全、调用逻辑等方面存在多种隐患。文章通过具体案例展示了这些风险的严重性，并从技术到管理层面提供了全面的防护措施，为企业和开发者提供了参考。然而随着技术的发展和攻击手段的不断升级，企业应持续关注最新的安全动态，定期进行安全评估和培训，以确保MCP应用的安全性和可靠性。

——电信安全专家李昀驰

排版：武云龙

校对：李雪、陈师慧

执行主编：田金英

主编：冯晓冬

内容整理：市场经营部

推荐阅读