在人工智能技术迅猛发展的背景下,AI大模型的滥用问题逐渐成为网络生态治理的核心挑战。2025年5月,中央网信办以“清朗·整治AI技术滥用”专项行动为抓手,首次将AI大模型纳入重点监管范围,并明确划定未成年人权益侵害行为的治理红线,标志着我国网络空间治理进入技术伦理与权益保护并重的新阶段。
本次清朗专项行动的有关负责人强调,各地网信部门要充分认识专项行动对于防范AI技术滥用风险,维护网民合法权益的重要意义。切实履行属地管理责任,督导网站平台对照专项行动有关要求,健全AI生成合成内容审核机制,提升技术检测能力,做好整改落实。
这一表态,从政策导向、监管要求和技术伦理三个层面,明确了属地监管单位和大模型企业在AI技术治理中的核心责任与行动方向。
1
属地监管单位:责任升级与治理深化
1. 属地管理责任压实
属地管理责任”的强调,意味着地方网信部门需从“被动响应”转向“主动治理”,不仅要对辖区内平台进行常规巡查,还需对AI生成内容实施穿透式监管。知道创宇就曾积极响应某属地网信办专项治理要求,针对本地注册的AI绘画平台开展深度技术审查,通过穿透式溯源其训练数据来源合法性、动态解析内容审核规则有效性,最终因该平台在数据采集合规性、敏感内容过滤机制等方面暴露系统性风险隐患,被监管部门正式通报并责令整改。
2 .地方网信部门应构建“AI对抗AI”的评测技术体系
建议地方网信部门联合像知道创宇这样的大模型评测企业,加速构建“AI对抗AI”的自动化评测体系。以“主动治理”为核心,常态化管控属地大模型生成内容的合规风险。地方网信部门依托标准化评测接口,要求平台接入内容安全审查模块,对AI生成的文本、图像、音视频开展多模态风险识别,并参考《TC260-003》的基本要求、“清朗·整治AI技术滥用”的专项规范及行业监管标准,基于属地化数据训练动态优化评测策略。压实平台主体责任,实现“技术标准约束-常态化监管评测-违规案例溯源”的全链条治理闭环,确保AI生成内容符合伦理规范与安全底线。
2
大模型企业:合规成本激增与能力转型挑战
1. 合规成本激增:审核机制从“形式合规”转向“实质有效”
随着属地监管责任的压实以及“AI对抗AI”评测技术体系的构建,大模型企业面临着合规成本激增的局面。企业需建立覆盖训练数据、生成过程的全链条审核体系,以确保AI生成内容的合规性。
• 训练数据层面,企业需引入专业的第三方机构对语料库进行伦理审查,剔除涉及未成年人色情、暴力等非法内容。这一举措不仅增加了企业的合规成本,还对企业的数据管理能力提出了更高的要求。知道创宇曾为某大模型企业提供专业的语料库审查服务,通过采用机器审查与人工审查相结合的高效模式,实现了极高准确率的语料清洗。后续,还协助该企业构建了一套完善且严谨的语料库管理机制,全方位确保语料库的合法性与合规性,为企业的长远发展筑牢了数据合规的基石。
• 在生成环节,大模型企业应主动部署多模态内容过滤系统,具备实时识别文本、图像、视频风险的技术能力。知道创宇作为专业的内容风控服务商,通过动态审核规则与持续算法优化,有效应对新型违规内容所带来的挑战。例如,针对"AI恋人"应用场景,会根据业务场景构建情感诱导及性暗示话术特征库,并制定未成年人防护机制。
在响应"清朗·AI治理"专项行动时,也首创未成年人专属风险标签体系,其中细分情感导向、自我伤害、霸凌意图、不良行为等维度,通过分析深层语义,实现敏感内容的毫秒级精准拦截,为青少年网络保护提供多模态AI治理方案。
2.技术能力:从“功能开发”转向“风险防御”
• 大模型企业应聚焦内生安全能力建设,在算法层面深化对抗性训练技术研发,通过构建多模态恶意诱导样本库及鲁棒性增强机制,形成针对违规内容生成的全流程防御体系。此类技术创新不仅能有效阻断模型被恶意提示词劫持的风险,更将在企业构建合规竞争力和抢占AI治理技术制高点方面,发挥关键支撑作用。
• 建议联合国家级网络安全机构共建红蓝攻防体系,通过模拟黑客攻击、内容篡改等复杂且极具威胁性的场景,全方位、深层次地挖掘系统潜在漏洞,实现风险的前瞻性防控。通过高强度对抗演练持续优化防御策略,构筑具备实战化防护能力的AI安全生态。
作为国家级的安全防护厂商,知道创宇已为众多政府单位、国央企以及大模型应用企业提供全面、专业的大模型安全服务,覆盖模型备案合规评测、风险场景压力测试、未成年人保护专项评测等关键环节,助力客户实现安全能力与业务创新的双轮驱动。
中央网信办“清朗·整治AI技术滥用”专项行动是网络空间治理迈向伦理与安全并重的关键转折,我国正以系统化、标准化的治理框架,为AI技术的健康发展筑牢屏障。技术向善,治理为先,唯有坚守伦理底线、凝聚多方合力,方能在人工智能时代真正守护每一份权益,书写科技赋能社会的崭新篇章。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...