区块链与数据安全全重实验室成果发布：深度合成语音检测平台

为应对深度伪造带来的技术威胁，2022年国家网信办、工信部和公安部联合发布《互联网信息服务深度合成管理规定》，推动了深度合成技术的依法、合理、有效使用；2023年国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》，为生成式人工智能向上向善发展提供了细致具体的实施标准。法规的落地需要深度合成检测技术的支撑。

VOcert是由浙江大学区块链与数据安全全国重点实验室大模型数据安全团队开发的全栈式深度合成语音检测平台。平台的开发旨在应对生成式人工智能的健康发展和规范应用需求，专注于音频深度合成数据的风险管控，可应用于电信AI诈骗反制、互联网音频内容真伪检测、司法取证音频真实性检测以及声誉侵害维权等场景。

平台框架图

构建深度合成检测模型的基础在于高质量数据和优秀算法的双重积累。VOcert广泛汇集代表性、多样化数据，支撑模型高效训练，使其具备对各种深度伪造技术的识别能力。同时，优秀的检测算法能够深入理解数据的内生特征和外生关联，从而准确地识别出潜在的伪造痕迹。由于实际的待检音频质量通常并不理想，会受到多种复杂环境影响，因此还需要对数据进行场景化增强，赋予系统鲁棒的检测性能。

1.  多元化数据及算法底座

VOcert平台注重语音深度合成数据与算法的广域化积累，从数据层面筑牢语音检测模型根基。针对检测模型可用训练数据算法种类稀少、语料成份单一的现状，VOcert平台针对性构建了算法多源、分布广泛的数据底座。在算法侧，平台自主构建了100+种异构语音合成算法与检测算法，具备实时热扩展能力，以支撑检测模型泛化性迭代提升。在数据侧，平台基于20+种主流公开数据集构建合成语音检测专项语料库，注重均衡语种、方言、性别等方面的分布差异，以引导模型专注精炼伪造痕迹。

2.  场景化数据增强

平台数据底座在拥有丰富的合成算法和数据集的同时，还针对性设计了场景化数据增强体系，重点围绕模型的鲁棒性和泛化性进行拟真化提升，以推进VOcert平台实战性能。数据增强主要依赖加噪、时频遮蔽等技术：加噪处理可以模拟真实环境中的背景噪声，如事件声、环境回声和设备混响等；时频遮蔽技术可以模拟音频信号在时域和频域存在部分信息丢失的情形，比如音频中存在的不定长静默情况，或在信号传输过程中部分频段损失的情况。

数据和算法底座

现有检测技术存在两大技术瓶颈。首先，检测模型训练数据集绝大部分基于英文语种构造，中文数据集数量和涵盖合成算法种类均高度稀缺，无法支撑高质量中文检测模型的训练；其次，现有的单一模型只能捕捉到训练数据中的一部分模式和特征，建模能力有限，导致在复杂的数据集上表现不佳。同时，单一模型对数据中的噪声和异常值比较敏感，可能导致过拟合或者欠拟合，容易出现预测偏差。针对这两个制约检测性能的关键问题，VOcert研发了检测能力本土化迁移技术，并设计了适配音频检测场景的多专家模型智能联合决策策略。

1.检测能力本土化迁移

平台首次对语音检测模型的跨语种问题进行深入研究，在前期部署测试了10种以上的开源检测模型，提出现有算法普遍存在跨语种检测能力不足的问题。针对深度伪造领域中文语音数据匮乏的现实挑战，团队提出借助英文伪造算法与数据进行伪造痕迹的迁移学习。在中英数据配比高度不平衡的情况下，构建基于跨领域自适应的检测模型训练框架，强化模型对中文数据集中缺失数据类型（相较于英文数据集）的检测能力，构建具备高泛化性的中英通用伪造检测模型。

跨领域自适应检测模型训练框架

2.多专家模型智能联合决策

VOcert平台集成了多个专家模型，运用智能化的联合决策机制，实现对伪造音频的精确鉴别。不同专家模型擅长不同的检测方向，其中全视角检测模型（All-in）覆盖平台全量真伪音频训练数据，着重拟合真伪数据的整体分布规律; 精简视角检测模型(Part-in) 则由经典真伪音频数据训练而成，重点面向主流语音合成技术的鉴别；高质量音频检测模型（High-quality）则聚焦于精炼高质量的合成音频，重点攻关高度逼真合成音频的检测。在此基础之上，平台进一步采用堆栈泛化（Stacked Generalization）、混合专家模型（MoE）等先进的集成学习技术，以最佳的方式动态融合各专家模型的检测结果，从而实现智能联合决策。

专家模型智能联合决策

VOcert致力于为用户提供灵活、多样化的服务，满足用户在不同场景下的需求。检测平台支持单条语音与大批量语音检测需求，合成检测模块会提供详实的分析和检测报告，报告中不仅对音频给出判定结果和总置信度，还详细说明了三个专家模型分别对音频的置信度打分，以及组成该段音频的各细粒度部分的真伪置信度。透明的决策过程和可视化的报告呈现，使得用户能够清晰了解到平台的决策逻辑，从而更加信任平台的选择和决策。

VOcert具有业内领先的真伪检出能力。在公开数据集上与知名开源检测模型相比，具有更优检测性能。相比于公开数据集，商用语音合成数据通常质量更高，也将为检测模型带来更大的挑战，因此团队使用VOcert与三个知名开源模型，对百度与讯飞语音合成引擎生成音频进行检测，检测结果如下图所示，VOcert在两个商用模型合成数据上展示出领先的检测性能。

为了进一步展示VOcert对于未知合成算法的检测泛化能力，团队对近期较流行的明星语音合成产品展开测试，包括字节跳动旗下的火山引擎、知名语音合成引擎Voice.ai以及微软Azure的最新AI语音模型。其中微软Azure的合成语音引擎于4月初刚完成升级，被评价为目前听感最真实的AI语音，在韵律节奏和说话人习惯等细节上都已真假难辨。团队使用未见过三类商用合成音频的VOcert早期版本进行合成语音检测测试，评估结果如下图所示，VOcert面对Voice.ai和火山引擎取得了较高的检测准确率，且性能明显优于开源检测算法，面对微软Azure的AI语音检测效果略有下降，但依然好于对比模型。

随着生成式人工智能技术逐渐应用到社会的各个领域，其安全性正受到广泛关注。在这个背景下，浙江大学区块链与数据安全全国重点实验室大模型数据安全团队聚焦深度合成内容安全，构建千万级伪造内容数据底座，研发及复现深度合成算法百余种，持续推进涵盖音视图在内的多模态深度合成检测平台和检测算法性能评估平台场景化落地。VOcert作为聚焦音频的深度伪造检测平台，将在5月上线试用。VOcert基于广域化数据及算法底座、集成领域前沿检测技术、开发用户友好型平台服务，有效弥补现有音频模态深度合成检测方案的不足，提升AIGC合规管控能力，为AI安全领域的研究和应用提供助力。

随着深度合成音频技术的不断发展，VOcert也将持续致力于提升其检测能力和呈现形式，以更好地满足用户需求并应对未来的挑战。首先，团队将持续扩充数据底座，不断迭代更新检测技术，实现伪造特征的更精准定位和识别，提高面对微软Azure等最新语音合成产品的检测准确率。同时，团队将致力于提升对抗场景下的检测鲁棒性，应对各种形式的音频伪造。其次，团队将优化VOcert检测结果的呈现形式，注重提升检测结果解释性，使用户能够更直观地理解检测结果与检测逻辑，提升平台使用体验。最后，VOcert将拓展适配场景，满足不同用户的需求。

接下来，VOcert将依托浙江大学区块链与数据安全全国重点实验室，积极与社会各界沟通与合作。我们欢迎各界相关业务人员通过邮箱联系我们，获取测试账号，在VOcert网站直接体验语音检测等平台功能；如果您有进一步的自动化部署需求，可联系获取API接口，实现VOcert远程调用；同时，我们欢迎企业机构的特定业务需求方与我们联系，我们可提供针对特定业务场景的定制化合成语音检测服务。此外，我们热切期盼各界技术人员与安全研究者对VOcert提出宝贵意见，诚挚邀请高校、研究机构以及产业界与我们在科研与产学研转化等方面深入合作，为生成式人工智能的安全发展贡献力量，欢迎通过[email protected]与我们联系。

浙江大学区块链与数据安全全国重点实验室于2022年11月正式获得国家科技部批准成立。实验室由陈纯院士领衔担任主任，聚焦区块链与数据安全国际科技前沿，以实现高水平科技自立自强和打造具有世界一流的战略科技力量为己任，围绕产学研一体融合，开展系统性创新性科技攻关。实验室的研究方向主要包括区块链技术与平台、区块链监管监测、智能合约与分布式软件、数据要素安全与隐私计算、AI数据安全与认知对抗、AI原生数据处理系统、网络数据治理、智能网联车数据安全、可信数据存储与计算技术等。

浙江大学区块链与数据安全全国重点实验室大模型数据安全团队由常务副主任、计算机学院院长任奎教授牵头，在科技部科技创新2030-“新一代人工智能”重大项目、国家重点研发计划项目、国家自然科学基金委区域创新发展联合基金重点项目、浙江省领军型创新创业团队项目、浙江省重点研发项目、浙江省领雁计划项目、浙江省自然科学基金重大项目等多个国家级/省部级项目的支持下，面向大模型数据，研究数据安全与数据隐私基础理论，构建大模型数据安全评测平台和安全组件，为建设大模型数据安全生态提供理论支撑、合规检验及安全加固服务，保障大模型的训练、部署及使用的全流程数据安全。