生成式AI服务存在安全风险拒不整改，3家企业被立案处罚

本年度，上海市网信办联合上海市市场监督管理局及相关行业主管部门继续开展“亮剑浦江·2025”个人信息权益保护专项执法行动，专项行动聚焦三大领域八项重点任务，“抵制AI滥用”是本年度治理重点之一。

上海市网信办在专项行动中发现，部分对外提供生成式人工智能服务功能的网站，未按法律要求开展安全评估工作、未采取必要的安全措施防范违规信息生成、未采取限制措施防止生成式人工智能功能被滥用，导致相关生成功能侵犯个人信息权益、产出“开盒”“洗钱”等违法违规内容、生成色情低俗图片等信息内容，存在较大安全风险。上海市网信办督促企业自行下线相关功能，在通过安全评估后方可重新上线。

近期“回头看”巡查发现，在未通过安全评估、未采取必要安全防护措施等情况下，被要求下线的3家企业自行重新上线存在安全风险的生成式人工智能功能。上海市网信办依法约谈企业，进行严肃批评，要求全面整改，并依法对涉事企业进行立案查处。现将典型问题通报如下。

生成侵害他人个人信息权益的违规信息。个别企业未按照《个人信息保护法》《互联网信息服务深度合成管理规定》等法律法规要求，提示用户在编辑他人生物识别信息时，应依法告知被编辑个人并取得其单独同意。如某网站在未取得被编辑个人同意的情况下，克隆其声纹信息并进行语音合成提供其他用户使用。

生成侵犯他人名誉权、隐私权等合法权益的违规信息。个别企业未采取必要措施防止用户生成侵犯他人名誉权、隐私权等合法权益的信息。如某网站根据输入信息，可生成包含公众人物形象的虚假图片；某网站可根据用户要求生成“开盒教程”“他人隐私信息曝光教程”等违规内容。

生成色情、暴力等法律法规禁止的违规信息。个别企业未按照《网络安全法》《生成式人工智能服务管理暂行办法》等法律法规要求，在平台出现违法违规内容时及时采取停止生成、停止传播、消除等措施。如某网站依据输入信息，可生成色情、暴力等有害图片；某网站根据需求，可生成具有明显“性暗示”的文字信息。

上海市网信办相关负责人指出，促进生成式人工智能健康发展和规范应用，应维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。生成式人工智能服务提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务，涉及个人信息的，应当承担个人信息处理者责任，履行个人信息保护义务。下一步，上海市网信办将持续开展“亮剑浦江·2025”个人信息权益保护专项执法行动，持续打击“AI滥用”，重点整治“AI变装”“AI换脸变声”“AI造假”以及个性化推送类算法服务存在的侵犯个人信息权益的违法违规行为，对于屡教不改、问题严重的将坚决予以处置处罚。