浙大网安研发新型语音信息掩蔽技术，推进解决公众语音隐私安全问题

在移动互联网时代，人们越来越注重隐私，而事实上每一天的你我都处在“裸奔”的边缘。

在2020年，浙大网安团队发现智能手机APP可在用户不知情、无需系统授权的情况下，利用手机内置加速度传感器采集手机扬声器所发出声音的震动信号，实现对用户语音的窃听[1]。换言之，只要我们的智能手机安装了APP，就有可能成为一部随身窃听器，在我们毫不知情的情况下，手机APP可以在完全不违法的情况下随意窃听我们的隐私。

对于用户而言，智能手机、智能电视这些智能设备就像一个黑盒子，它们在内部运行什么程序，采集什么数据，用户是无法知晓的。内置有Google Asistant, Amazon Alexa，和 Apple Siri等语音助手的智能设备都存在着窃听用户的风险 [2] [3] [4]。

如图一所示，在没有任何保护措施的情况下，攻击者可以通过控制这些智能设备从而窃听环境中用户的声音。基于这些声音数据，攻击者可以提取用户的地理位置，日程安排和喜好等隐私信息，并通过这些信息进行广告的精准投放，甚至进行财产的窃取等，给用户隐私带来了极大的威胁。

图一系统使用场景

国家对于智能设备带来的隐私泄露问题也越来越重视，于2019年发布的《App违法违规手机使用个人信息行为认定方法》 [5]中明确定义了六种app违法收集使用个人信息的行为；在2020年颁布的《中华人民共和国个人信息保护法(草案)》 [6]又针对性地扩大了个人信息的覆盖范围；在2022年8月，银保监会向业内下发《关于开展银行保险机构侵害个人信息权益乱象专项整治工作的通知》[7]，剑指未经同意收集个人信息、超出业务办理所必需的范围收集个人信息等乱象，尤其是利用APP监听语音收集消费者个人信息。

虽然目前国家提高了对于个人隐私窃取的监管力度，但是还是会有众多不法分子为了利益而对用户的隐私进行非法窃取。在2022年，公安机关网安部门在打击非法生产、销售、使用窃听窃照专用器材的"断源"行动中侦破案件140余起[8]。如何有效的防止智能设备的窃听从而保护用户隐私仍是一个亟待解决的问题。

近日，浙大网安团队针对上述问题给出了他们的解决方案。团队聚焦语音隐私窃听风险，设计了基于人类语音结构和超声波隐蔽传输的语音防窃听系统：InfoMasker。如图一所示，在开启了InfoMasker之后，系统会在不干扰环境中用户的前提下，向环境中的智能手机，智能音箱等设备的麦克风中注入高效、鲁棒的语音噪声信号。此时，即使攻击者能够控制设备对环境中用户的说话语音进行录音，注入的噪声信号也会打乱录音中原有人声的语音结构，使其窃听到的语音信号无法被正常分析，从而达到保护用户隐私的目的。

InfoMasker在具体使用过程中，用户只需要输入5秒左右的语音进行注册。系统会基于注册语音进行语料的匹配与增广，并基于用户语料构建高效的音素噪声，最后以超声波为载波向环境中发射噪声。在系统层面，团队还提出了失真预补偿和下边带调制技术，在保障噪声注入精度的同时，降低了发射器杂音对人耳的影响，大大提高了噪声发射能量的上限，保障了噪声的有效性与覆盖范围。

图二 InfoMasker具体工作流程

InfoMasker使用了一种全新的基于音素的干扰噪声构建方案，具有更高的干扰能力以及更强的鲁棒性。它以音素为基本单元，在保证噪声中音素单元有效密度的前提下，提高了噪声序列的随机性以及与人类语音结构的相似性，对机器和人类的语音识别系统均达到了极高的干扰效果。实验结果标明，在办公室环境中，InfoMasker可以使得不同位置的智能设备所录制的语音的识别准确率下降70%以上。在鲁棒性方面，音素噪声的抗剥离能力尤为优秀，由于此类噪声在结构上具有高复杂性与高随机性，它能够有效打乱用户语音中的语言结构，使得现有的降噪算法和语音分离算法均无法有效去除此类噪声。

以下是两个示例音频，音频一是原始音频，音频二是受到InfoMasker干扰的音频。可以听到，音频二中的语音结构被InfoMasker注入的噪声完全打乱，当然这个噪声并不会对用户的日常使用造成任何干扰。目前，该成果InfoMasker: Preventing Eavesdropping Using Phoneme-Based Noise已被国际顶级信息安全会议 NDSS 2023录用。

随着智能设备的不断更新换代，基于智能设备的隐私窃取技术也在不断涌现，给国家安全、公众隐私、社会稳定产生了严重影响。浙大网安将持续在此方向上展开研究，不断强化和提升语音安全防护技术，也将开源相关代码与资源，建立开源研究平台，希望与广大研究者们共同推进语音隐私保护方面的技术研究进步。同时，浙大网安也将把InfoMasker原型机进行工程化落地，在实战场景中填补语音安全市场空白，为公众隐私安全保驾护航。

论文题目：
InfoMasker: Preventing Eavesdropping Using Phoneme-Based Noise

论文作者：

Peng Huang, Yao Wei, Peng Cheng, Zhongjie Ba, Li Lu, Feng Lin, Fan Zhang, Kui Ren

发表会议：

NDSS 2023 （30th Annual Network and Distributed System Security Symposium），CCF-A，历年平均接受率为17%左右。

参考文献

[1] 浙大最新研究：任意手机APP可窃听用户语音，准确率近90%

https://mp.weixin.qq.com/s/T0bVyaaKvAsEW4Mgo9AI1g.

[2] Google is permanently nerfing all Home Minis because mine spied on everything I said

https://www.androidpolice.com/2017/10/10/google-nerfing-home-minis-mine-spied-everything-said-247.

[3] Alexa and Google Home Record What You Say. But What Happens to That Data?

https://www.wired.com/2016/12/alexa-and-google-record-your-voice/.