害人的AI换脸

谈到AI换脸拟声，眼下临近清明节，AI界又兴起了一门生意，即用AI复活亲人。

打开电商APP，搜索“AI复活亲人”，各类商户琳琅满目，推出的价格也是大不相同，从1元到百元不等。

当然，一分价钱一分货，不同价格最终获得的数字亲人的质量，大概会存在差异。

根据商家的答复，据称只需一张亲人正面半身的照片加上一份音频，就用利用AI学习训练，让其嘴巴和眼睛动起来，还能说出你想要听的话，这也就相当于构建出一个AI数字亲人。

一张照片，一份音频，就能构建出接近于真实感的逝去的亲人。那么，将此与AI换脸技术结合起来看，有种细思极恐的味道。

因为，以前人们担心的是，自己的面部数据被窃取，是直接从自己的脸上进行抓取面部数据。而AI复活亲人，就意味着，不用你真人，直接一张照片，就能还原出一个接近于真实的数字化的你。

其实，从人伦亲情的角度来看，AI复活亲人，是一项极具人情味，极有实用价值，极需推广发扬的服务。

逝去，意味着再也不见。但若是能用AI技术，再造“数字亲人”，能够互动对话，能够再见到曾经熟悉的音容笑貌，会给很多人带来心灵慰藉与灵魂安抚。

但若是真用在诈骗、迷惑、隐瞒等事情上，杀伤性必然相当巨大。

好在，一些具有安全意识的电商平台，也对AI复活亲人做了一些限制。

比如，只能做老年人的动图视频，且不能做眨眼、摇头、点头、张嘴等涉及人脸识别的动作。

有人会问，AI数字人做出来，真能以假乱真吗？

有购买过此类服务的网友说，一年前，他购买的用AI生成的奶奶形象，在说话时表情还比较僵硬，细看还能看出并非真人。

而现在，他再度购买的AI复活数字奶奶，表情僵硬问题已经大大缓解，语气也更加接近真人，一眼几可乱真。

才一年多的时间，AI数字人技术已经大步跨进，难以想象，再过几年时间，这项技术会成熟到何种程度，甚至完全以假乱真都有可能做到。

这并非耸人听闻，现实早已上演了无数利用AI换脸、AI数字人实施诈骗，并取得成功的新闻案例。

一名加拿大多伦多男子Stephen Henry去年11月份看到一段视频，视频里讲的是加拿大总理贾斯汀·特鲁多（Justin Trudeau）在推荐一个加密货币交易所。

视频中，特鲁多说：“我们已经开发了一个投资平台，我们相信它可以帮助每个加拿大人，即使在通货膨胀时期也能保障自己的财务未来。”

Henry一看，这个投资平台居然有加拿大总理背书，那肯定是绝对权威靠谱的平台，于是当即决定投资。

“那个视频里有特鲁多总理的认可，所以我相信了，我想，这一定是很不错的投资。，这一定是合法的，一定是完美的。如果不是的话，总理怎么会公开支持呢？所以我想这一定是官方的。”

Henry联系了视频平台中推荐的网站，随后他被建议用250加元（约1335人民币）开始投资。

当他的投资回报在不断增加时，他被建议继续投入更多的钱，最终，Henry虽然账面金额已经达到4万加元（21.37万人民币），但压根无法取出这笔钱，最终他被骗了12,000加元（6.41万人民币）。

实际上，Henry看到的那则视频，完全是由AI和语音克隆等技术制作而成，其效果相当逼真，骗到了很多人。

一家专注于身份管理和避免安全漏洞的网络安全公司Okta的一项调查发现，75% 的加拿大人担心由于AI技术的进步而被盗取身份，只有20%的人相信他们能够识别 AI 试图破坏他们信息的企图。

近日，鄂尔多斯李女士的微信上，突然收到一条添加好友的信息，对方的头像是她多年前的老同学贾某。

李女士通过了好友验证，两人聊了片刻，“老同学”要求转入QQ聊天，还发起了视频通话。这一步很关键，视频通话让你看到对方的熟悉模样，很容易放松戒备，上当受骗。

李女士发现，“贾某”的通话断断续续，听不清楚，视频也显得很模糊，背景声嘈杂。仅仅16秒，视频通话就被挂断了。

随后，李女士接到一条消息称：“信号不好。”

接着二人继续文字聊天。随着聊天深入，“贾某”向李女士说出了他的“困境”：“有位朋友正在参加项目竞标，急需40万元做资金周转。”

不过，“老同学”却不方便直接把钱转给朋友，想让李女士作为中间转钱的桥梁。

李女士一听，侠义之心顿起。不就帮转一下钱嘛，于是就把银行卡号给了对方。

很快，“老同学”就给李女士发来一张截图，上面显示，他已给李女士汇了196万元，这笔款项是2小时内到账。

在此过程中，“老同学”一直催促李女士，说自己朋友要得急，让她先帮他把40万元垫上。等钱一会儿到账了，直接从款里扣除40万元即可，并给了李女士一个银行卡账号。

几番催促下，李女士鬼使神差便把40万元尽数转给了对方提供的账号。

即便如此，“老同学”还不罢休，还让李女士继续转钱。

等李女士发现不对劲后，对方却已将她拉黑，李女士这才意识到大事不妙，赶紧报警。

警方调查发现，加李女士的微信是实名注册的，注册者姓刘，名下有12个微信号。

警方找到刘某，调查发现，刘某注册微信号卖给了境外买方，一个号能卖到200-300元。这来钱轻松快捷，刘某就拉着亲朋好友一起发财，短短九个月，非法获利8000多元。

境外黑灰产人员获得这些实名微信号后，加上通过各种手段购买、窃取来的个人隐私信息，使用AI换脸技术，成功成为许多人的老同学、老战友、老同事。如此诈骗得手的概率不知要提高多少倍。

近期，辽宁本溪警方侦查到了一个利用AI技术进行诈骗的团伙，该犯罪团伙以任某某为头目，4名“信息员”、“联络员”为骨干成员，另有27名“辅助人员”进行支撑。他们的作案流程如下图所示：

最终查明，该团伙非法收购公民面部照片50余个，银行卡、电话卡100余张，帮助境外电诈犯罪分子洗钱流水7000万元，非法获利20余万元。

今年3.15晚会名单上，AI 换脸/拟声诈骗赫然在列，说明近些年来，AI诈骗已经来势汹汹，即将泛滥成灾。

并且，AI诈骗的魔爪，不再是以前那种让许多鉴别能力不强的老年人上当，现在的AI诈骗技术，已经可以让许多社会精英都沦陷其中。

一家跨国公司香港分部的职员，受邀参加总部首席财务官发起的“多人视频会议”，并按照要求先后转账多次，将2亿港元分别转账15次，转到5个指定银行账户之内。

其后，向总部查询才知道受骗。警方调查得知，这起案件中所谓的视频会议中只有受害人一个人是“真人”，其他“参会人员”都是经过“AI换脸”后的诈骗人员。

还有，福建郭先生是一家公司的法人代表，2023年4月，他的好友突然通过微信视频联系他，称自己朋友在外地竞标，需要430万元的保证金，想借郭先生公司的账户走账。

基于对好友的信任，加上已经视频聊天“核实”了身份，郭先生在10分钟内，先后分两笔把430万元转到了对方的银行账户上。

事后，郭先生拨打好友的电话才得知被骗。原来，骗子是通过AI换脸和拟声技术，佯装好友对其实施诈骗。

陕西西安财务人员张女士与老板视频通话，老板要求她转账186万元到一个指定账号。

张女士称，老板让赶紧转，要得非常着急，因为老板声音还有视频图像都跟他本人是一样的，所以就更确信无疑。

转账之后，张女士按照规定将电子凭证发到了公司财务内部群里，然而出乎意料的是，群里的老板看到信息后，向她询问这笔资金的来由。

张女士连忙打电话跟老板核实，老板说他没有给我发过视频，然后也没有说过这笔“转账”。她立即报警，银行紧急止付，最终保住了被骗资金156万元。

如上案例，被骗对象都是经验丰富的职场人士。他们都难以鉴别AI诈骗手段，况乎普通人。

AI诈骗其实类型有很多，比如利用AI撰写钓鱼邮件、利用AI撰写诈骗程序代码、利用AI变装变性直播骗钱之类。但目前普遍可见、影响至深的案例，还是AI换脸诈骗。

比如，AI直播类的诈骗，用AI生成带货主播进行带货，换脸生成外国美女直播要打赏等。这种骗钱方式相对温和，有些主播甚至直接告诉观众使用了AI技术。

还有人反向操作，用真人装成AI，勾起观众的好奇心，让其付费提问，真人即根据AI搜索问题，进行回答。

还有一种具备一定技术难度。比如用AI抓取并识别公众的面部特征，再利用3D打印技术，制作面部模型，这样就能破解一些人脸识别系统，盗取信息和钱财。

最为严重的，自然就是利用AI换脸、拟声进行诈骗。

公安部数据显示，近两年来，全国共发生“AI换脸”类诈骗案近百起，累计给人民群众造成经济损失高达2亿元。

企查查数据显示，我国现存人工智能相关企业约160.87万家。2021年至2023年，我国人工智能相关企业注册量呈高速增长态势，三年分别新增36.5万家、42.82万家和53.27万家。

2月29日，奇安信集团对外发布《2024人工智能安全报告》。《报告》显示，2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件增长了1000%。各类基于AI的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等，在全球造成了严重危害。

实际上，虽然AI换脸拟声技术已经很强，但还是无法做到完美无缺。

人的大脑和视觉能力，对于一些真真假假的东西，尤其是活人的鉴别能力，是远超机器的。所以，很多时候，我们确实能做到一眼假。

但是，有时看起来真真假假的东西，确实能骗到很多人，我们认为，真正让人上当受骗的，是被模仿的对象与你的社交关系，以及你的社会关系。

为什么这么说呢？马克思有句话说“人是一切社会关系的总和”。很多时候，我们相信对方是真人，除了视频中对方长得确实像真人之外，对方和你的社交关系、社会关系才是最具迷惑性的。

比如，对方会说到你最近在做什么工作，最近和谁一起吃了饭，最近要参加什么活动，最近家里发生了什么事，最近你买了什么东西，最近你身边发生了什么有趣的事，最近公司有什么项目在推进等等。

你一听，再结合你们的社交关系与社会关系，就算你觉得对方看起来不那么像真人，但大脑此刻已经被迷惑，已经逐步认定对方是真实的熟人，视频看起来不那么真实，可能是信号、光线、对方的装扮等因素引起的。

所有被骗行为的成功，基本都是建立自己已经相信的基础上。而社会关系、社交关系可能比所谓的长相更加容易让人确信。

许多被AI换脸视频骗过的受害者都有过这样的体会：“本来一开始就觉得对方有点问题，但随着深聊下去，我就慢慢打消了这种怀疑。”

所以，AI换脸拟声诈骗的背后，不只是AI技术被利用这么简单，存在很多令人细思极恐的问题。比如最为关键的两个问题是：

第一个问题，可能比较好解释，因为活跃在互联网上，几乎每个人都有社交平台，发自拍照、发视频、发语音都很常见，甚至在一些场合被一些设备窃取道面部数据、声音数据也不是没可能。

但是，第二个问题实在让人毛骨悚然。我们的社交圈子、社会关系、工作动态、生活信息，这些相对私人的东西，如何被黑灰产所掌控？对方怎就知道你们是多年未见的老同学，怎就知道你是财务人员，怎就知道你和谁是什么关系？

这一切的一切，比单纯泄露几张照片、几段音频，更加可怕。

一个与你熟人长得就算一模一样的脸庞，但对你问的东西一问三不知，你必然会心存疑虑，心生戒备。

但是一个与你熟人长得只要有80%以上相似的脸庞，但对你的信息知根知底，对你所问的问题知无不言，你势必会逐渐打消疑虑，进而落入对方圈套。

所以，我们才坚定地认为，真正骗到你的，不是AI技术，而是技术背后的你的社交关系、社会关系等隐私信息。

所以，我们不能再局限于保护好自己的面部、声音、指纹等生物信息，还要保护好自己的社会关系和社交关系。

另外，AI换脸也有破绽之处，破解方法网上有很多，比如让对方转头、捏脸、捏鼻子等，若是AI换脸，就容易出现脸部光影闪烁、捏的肉不会塌陷等等。

法律专家表示，用AI技术为他人“换脸换声”甚至翻译成其他语言并发布视频，可能涉嫌侵权，主要有三个方面：

抖音目前可以称得上是国内最大的短视频平台。

3月27日，抖音安全中心发布《抖音关于不当利用AI生成虚拟人物的治理公告》称，近期，抖音站内仍有不当使用AI技术，生成虚拟人物发布内容的账号，平台进行了严厉处置。

去年，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。

近期平台发现，站内仍有不当使用AI技术生成虚拟人物发布内容的账号，平台进行了严厉处置。其中典型行为包括：

针对违规使用AI生成虚拟人物的行为，平台会对违规视频下架，对违规账号进行取消其投稿和营利权限、抹除账号粉丝、封禁账号等处置，并利用模型、技术识别能力等手段，进行长期系统的识别发现和处置。

同时，平台已掌握部分黑产团伙不当使用AI生成虚拟人物用于犯罪的线索，将报警打击。

人工智能技术的快速发展，丰富了互联网内容生态，但也带来技术滥用的挑战。平台重申，创作者、主播、用户、商家、广告主等平台生态参与者，在抖音应用生成式人工智能技术时，须遵循以下规范：

抖音的相关做法，可谓是针对AI换脸技术做了许多先行尝试性的规范，对以后更详细的政策法规带来许多参考。