CNCC | AIGC内容乱象：检测与溯源能否主宰乾坤

任文琦

CCF YOCSEF深圳AC委员，中山大学教授、优青

简介：CCF多媒体专委会执行委员、CCF YOCSEF深圳AC委员，中山大学“百人计划”引进人才，优青，教授，获中国计算机学会优秀博士论文奖、吴文俊人工智能优秀青年奖、中国图象图形学会自然科学一等奖等。

漆舒汉

CCF YOCSEF深圳学术秘书，哈尔滨工业大学（深圳）副教授

简介：CCF多媒体专委会执行委员，CCF YOCSEF深圳学术秘书，广东省决策智能重点实验室副主任。获教育部科技进步二等奖、“挑战杯”科创竞赛金奖、中国高校计算机教育大会特等奖。

彭宇新

北京大学教授、863项目首席专家、杰青

简介：北京大学博雅特聘教授、863项目首席专家、杰青，中国人工智能产业创新联盟专家委员会主任、中国工程院“人工智能2.0”规划专家委员会专家。以第一完成人获2016年北京市科学技术奖一等奖和2020年中国电子学会科技进步奖一等奖。

报告题目：细粒度多模态场景理解与生成

摘要：场景是构成世界的基本要素，对场景的准确理解与生成是推动大模型落地的重要应用之一。细粒度、多模态的场景理解与生成能够更准确地刻画真实世界，可广泛应用于智慧城市、智能制造、智能零售等领域。细粒度多模态场景理解与生成旨在识别场景中多模态对象的细粒度信息从而实现场景理解，并进行语义可控、内容真实的场景生成，关键科学问题包括如何精准辨识开放域中任意类别、不断新增的细粒度类别对象，如何根据对象的细粒度属性及关系生成符合要求的多模态场景等。本报告将介绍课题组在相关领域的近期工作进展，并对未来发展方向进行讨论与展望。

张卫明

中国科学技术大学教授、网络空间安全学院副院长

简介：中国科学技术大学教授，网络空间安全学院副院长、国家基础加强计划重点基础研究项目“技术首席专家”。获得军队科技进步一等奖、安徽省自然科学奖一等奖等奖项。

报告题目：大模型生成内容的监测与检测技术 

摘要：基于大模型的生成式人工智能快速发展，为人们的学习、工作与生活带来便利的同时，也给网络空间安全带来了全新的挑战。一方面大模型输出的内容会影响人类认知安全，例如虚假信息认知干扰、人类信息生态污染、个人数据非法滥用等；另一方面大模型智能体的所思所想难以控制，诱发机器认知安全这一新兴问题。本报告将从内部监测和外部检测两个视角讨论大模型对机器认知安全和人类认知安全的影响。

刘安安

天津大学教授、杰青

简介：天津大学图像所所长，以第一完成人获天津市科技进步特等奖，以第一/通讯作者发表高水平论文百余篇。

报告题目：视觉大模型内生风险解析和治理

摘要：视觉生成大模型（如Stable Diffusion和Midjourney系列模型）存在内生风险，用户可以利用无显性风险的提示攻击模型，从而生成风险图像。针对此问题，典型的解决方法是使用一系列风险因素过滤器，避免风险图像的生成或传播。然而，由于诱发生成模型产生风险的机理未知，无法从“治本”的角度阻断风险图像的生成。本报告将介绍团队针对视觉大模型内生风险机理研究，并提出相应风险防御策略。报告首先介绍诱发视觉大模型内生风险的通用攻击框架。基于攻击结果，我们分别从文本提示和特征空间挖掘出诱发模型生成风险内容的模式，最后基于风险诱发模式提出了相应的防御框架来增强模型生成内容的安全性。

汪大伟

传播内容认知全国重点实验室 科技发展部副主任

报告题目：AIGC内容安全管理探索与实践

摘要：生成式人工智能的广泛应用，对新时代网络文明培育提出了新的要求。智能互联网时代的网络文明培育，不仅要关注人的文明行为，也要关注人工智能系统和算法的“教育引导”。“用AI治理AI”，训练具备良好道德判断与行为准则的AI系统，来引导、约束、提升人类在网络空间的文明素养，实现机器智能和人类智慧的深度交融与共同进化，推动网络文明向更加健康、和谐的方向发展。

李文瑾

绿盟科技安全能力中心技术总监、天元实验室负责人

简介：获得2023强网杯AI人工智能挑战赛双赛道二等奖，获得2023年CCF科技成果奖科技进步二等奖。

报告题目：智御未然，LLM应用的安全防御新范式

摘要：随着LLM在业务侧的落地，模型越狱、角色逃逸等攻击手段，可以影响、改变模型应用的行为，不仅对其功能造成影响，还可能泄露重要数据，危害系统安全。本报告内容将从AI Red Team的视角出发，介绍当前大模型主流应用架构下存在的多种安全风险及攻击手段，并提出一套基于LLM Guard守卫机制、LLM Guard守卫模型与LLM Guard Prompt内生防御机制的LLM Guard检测防御思路，以应对这些安全风险。

CNCC2024将于10月24-26日在浙江省东阳市横店镇举办，大会主题为“发展新质生产力，计算引领未来”。大会为期三天，包括18个特邀报告、3个大会论坛、138个专题论坛及34场专题活动和100余个展览。图灵奖获得者、两院院士、国内外顶尖学者、知名企业家在内的超过800位讲者在会上展望前沿趋势，分享创新成果。预计参会者超过万人。