国家网络安全宣传周 | 首个AI安全产业图谱重磅发布

 声明：本图谱仅收录参与调研且符合要求的单位

《AI安全产业图谱（2024）》在调研过程中，得到了包括百度、腾讯、京东、蚂蚁集团、移动、联通等互联网及云厂商，浙江大学、西安交通大学、华东师范大学等高校以及奇安信、深信服、天融信、启明星辰等安全企业，以及众多初创企业的积极参与。图谱最终成功收录了164项来自AI与安全相关单位的产品、技术、解决方案或科研成果。

根据调研结果，并结合“AI+安全”相关的产业生态特点，本次图谱共分为四个大类，18个小类。其中四个大类分别是：AI内生安全、AI赋能安全、AI安全服务、AI安全研究。涵盖了AI技术原生的安全需求、AI技术对安全产业赋能的重要作用，以及AI在安全服务以及相关研究工作的市场空间及业务需求。具体分类如下：

AI技术在网络安全领域的应用集中在威胁检测、响应和行为分析等方向

在CSA AI安全产业图谱中，AI赋能安全类别共有101个单位入选，占比超过61.6%。这一类别中的细分领域如威胁检测与响应、恶意行为检测、反欺诈与风险控制、AI SecOps等，展示了AI技术在网络安全中的广泛应用。

大模型安全成为AI安全领域的重点关注

在AI内生安全共有31家单位入选，占比18.9%。其中模型安全类中的14家单位在保护模型免受攻击方面尤其突出，通过提供对抗性攻击防御、模型窃取保护、以及算法加固等技术，帮助大模型使用方增强其应用的安全性和可信度。入选的单位如腾讯云、百度、蚂蚁集团、西安交通大学等，已有成熟的技术解决方案，以应对大模型应用中的潜在安全风险。

AI安全服务的增长空间依然巨大，现有服务提供有限

根据调研数据显示，目前提供AI安全服务的单位比例较低，仅有13家单位提供安全咨询、培训及评估/审计服务。虽然AI技术的快速发展带来了对安全服务的需求，但目前服务提供的多元化和广泛性仍处于起步阶段。尤其是在评估与认证领域，相关服务的提供者还比较少。

AI安全市场正在趋向专业化和细分化

本次调研结果显示，人工智能安全产业生态是一个多维度、跨领域的系统，涵盖了技术创新、行业应用、安全评估和人才培养等多个方面。当前AI安全的核心需求和方向体现在以下几方面：

AI内生安全是指AI技术的脆弱性、对数据的依赖性等自身缺陷原因而带来的问题。调研数据显示，13家单位关注数据安全，相关厂商提供包括数据加密、数据访问控制、联邦学习等技术。同时，15家单位在模型安全方面提出了解决方案，模型安全的重要性体现在应对对抗性样本攻击、确保模型鲁棒性以及保护算法的独特性。对于供应链安全，共有7家单位参与，企业用户侧对AI技术所依赖的软硬件供应链的安全管理开始重视。

数据安全：面对数据投毒、抗样本攻击等威胁，企业需积极采用联邦学习、可信执行环境（TEE）和安全多方计算等前沿技术，确保模型训练与推理过程中的数据安全。这些技术不仅能有效隔离敏感数据，还能在保护隐私的前提下实现数据共享与协同计算，为AI应用提供坚实的数据安全保障。

模型安全：保护机器学习模型和算法免受对抗性攻击、窃取等风险，是AI安全的核心任务。企业需构建包括对抗性攻击防御、模型鲁棒性测试、算法加固在内的全方位防护体系，同时提升算法的透明度和可解释性，增强用户对AI决策的信任。

供应链安全：AI系统的硬件和软件供应链安全同样不容忽视。企业应加强对供应链的风险管理，选择经过严格安全评估的组件和服务，确保AI系统的整体安全性。

AI赋能安全是指人工智能技术应用可以提升网络安全防御的智能化水平，在网络安全防御中得以应用。调研数据显示，AI技术在网络安全领域的广泛应用主要集中在威胁检测与响应、恶意行为检测、AI SecOps等方向，共有101家单位入选，这些解决方案致力于通过AI提升网络安全的实时监控、响应和预测能力。

威胁检测与响应：基于AI的威胁检测与响应系统能够实时分析网络流量、日志等数据，快速识别并响应安全威胁，显著提升企业的安全防护能力。

身份认证与行为分析：利用AI技术进行身份鉴别和行为分析，能够有效防止未经授权的访问和恶意行为。生物识别、行为模式识别等技术的应用，使得身份认证更加精准，行为分析更加智能。

反欺诈与风险控制：AI在交易监控、欺诈预防和风控分析领域的应用，能够大幅提升金融机构、电商平台等企业的风险防控能力，减少经济损失。

安全咨询与培训：专业的AI安全咨询和培训服务，能够帮助企业制定科学合理的安全战略和规划，提升员工的安全意识和技能水平。

评估/审计/认证/测评：通过专业的评估、审计、认证和测评服务，企业可以全面了解自身AI系统的安全状况，及时发现并修复安全漏洞。

标准制定与前沿研究：行业内外应共同努力，制定具有广泛影响力的AI安全标准和规范，推动AI安全技术的标准化和规范化发展。同时，加强AI安全领域的前沿技术研究，不断探索新的安全防护手段。

创新技术应用及成果转化：鼓励产学研用深度融合，促进AI安全研究成果的转化和应用。通过建设产业研究院所、创新机构等平台，加速AI安全技术的产业化进程。

伦理与合规治理：在AI快速发展的同时，必须高度重视伦理和合规问题。企业应积极研究并遵守相关法规和标准，确保AI技术的健康发展和社会责任。

隐私保护：在AI应用中，个人隐私保护至关重要。企业应尊重用户隐私权益，采用隐私增强的技术和算法，确保个人数据的合规使用。

AI安全是一个复杂而多维的课题，需要政府、企业、学术界和公众等多方共同努力。企业在人工智能安全领域应采取的行动建议可概括为：

• 加强长期安全战略规划与投入，积极采纳前沿安全技术如联邦学习、对抗性训练等以提升防护能力；
• 完善供应链安全管理体系，确保硬件软件安全；
• 强化威胁检测与响应机制，注重身份认证与行为分析；
• 深化反欺诈与风控措施；针对物联网安全制定专项策略；
• 积极参与行业合作，关注伦理与合规；
• 持续提升员工安全意识与技能，共同构建坚实的人工智能安全防线。

未来，人工智能安全产业生态将朝着更加多元化、专业化和系统化的方向迈进。随着技术的不断创新与应用的深入，AI安全产业将面临更多复杂且严峻的挑战。未来的AI安全生态不仅需要涵盖技术创新，还需在行业应用、安全评估、合规治理、以及人才培养等多个层面持续发展，以应对快速变化的安全需求。

随着大模型技术的广泛应用，模型安全、数据隐私、算法透明性等问题将继续成为业界关注的重点。AI安全解决方案也将不断细化和专业化，行业将进一步推动针对不同应用场景的定制化安全产品和服务。

关注公众号，回复关键词“图谱”

即可获取完整图谱内容