在人工智能技术迅猛发展的时代，AI诈骗也在“乘势而上”，“AI诈骗正在全国爆发”的话题多次冲上微博热搜。
随着越来越多的人应用AI技术，不法分子也开始瞄准AI技术捞取暴利。从假冒金融机构到仿冒社交媒体平台，从虚假投资到网络诈骗，AI技术滥用现象层出不穷，也给公众带来了巨大的经济损失和心理压力。如何防范AI诈骗成为了当下亟待解决的问题。
《新民周刊》对于AI诈骗的相关话题进行了报道，作为国内专业的网络安全公司，知道创宇这些年在进行内容风控的过程中积累了丰富的经验。《新民周刊》采访了知道创宇业务安全产品线总经理鄢晓玲，围绕AI诈骗现象频出的相关问题进行了深入交流。
深度合成技术平民化，
AI诈骗全国范围爆发
早在2019年国内就出现过换脸软件“ZAO”，导致许多明星和名人被恶搞被造黄谣，据报道，2019年也出现了第一起“AI换声”诈骗。不仅是国内，国外的AI诈骗案件数量近年来也呈现明显上升的趋势，造成的财产损失数额也越来越大。
A换脸、Al换声主要使用的是深度合成技术。随着深度合成技术的开源开放，还有相关的产品和服务的增多，深度合成技术门槛越来越低，逐渐被别有用心的普通人利用制作深度合成内容。
在《新民周刊》对此问题的专访中，鄢晓玲发表了见解：无论是之前的AI语音、AI换脸，还是现在由AIGC生成的语音、视频，它们底层用的都是同样的算法和技术。ChatGPT的发布和开放，很大程度上带动了AIGC的开源社区的活跃度，从而涌现出了大量的开源模型和成熟产品。以前的图文比较割裂，但现在的技术就像“大脑”一样，可以让图文音视等多个模态，完美地结合起来，并自如地去切换和应用，从而能更容易地生成那些逼真的诈骗素材。
理论上看，
技术的提升导致诈骗率提高
关于AI诈骗率的提高，在《新民周刊》专访中，鄢晓玲表示，现在一下子推出了那么多成熟的应用和产品，让普通人都能轻易上手，也使得骗子更容易制作出逼真的音视频素材去进行诈骗。
“原来只能生成一些相对来说比较静态的，或者是固定套路、固定话术的内容。但是现在有了一些底层的知识和一些预设的身份以后，你就可以跟AI数字人自如地对话了，这在以前是做不到的，只会在影视剧的制作中使用类似的技术。”
“从理论上来说，技术的提升导致了诈骗成功率的提高。”
——知道创宇业务安全产品线总经理鄢晓玲
定制化AI骗局，
让人防不胜防
鄢晓玲在专访中谈到，现在的骗子都是聪明人，会拿捏受害人心理，比方说利用人的虚荣心，利用中国人爱面子、不好意思拒绝，或者利用一些人爱贪便宜、爱猎奇猎艳的心理，都很容易陷入裸聊杀猪盘等诈骗圈套中。最终骗子会通过AI技术筛选目标人群，短时间内生产出定制化的诈骗脚本。例如情感诈骗的骗子会筛选经常发布感情类信息的人群，金融诈骗的骗子会筛选经常搜索投资理财信息的人群，也就是所谓精准诈骗。
身为业界专家的鄢晓玲也不禁感慨，这么多年来的反欺诈、违法违规内容甄别工作，让她有了更深刻的感受，“现在的AI骗局很容易，骗子通过事先详细的‘功课’，做到定制专门的骗局脚本获取受害人的信任，让人防不胜防”。
面对AIGC时代风险，
知道创宇不会坐以待毙
内容风险类型包括但不限于误导性和虚假信息、不当或违法内容、深度伪造的内容、恶意利用的安全事件、伦理道德、歧视性内容和隐私泄露。
鄢晓玲表示，作为普通人就算很了解AI生成的一些原理和背景，也会很难用肉眼去识别一些东西到底是出自于AI还是出自于我们人类生产，但这不代表我们会坐以待毙，我们拥有技术去判断、去识别。
知道创宇的团队从2012年就开始与腾讯合作，进行反欺诈和反违法违规内容的模型识别工作。后来又开始与抖音、微博、快手和京东等大厂合作。
点击了解知道创宇AIGC内容风控解决方案
用AI算法打败内容风险
对于AI诈骗和其他利用AI技术的情况，《新民周刊》以“用魔法打败魔法”为题进行了讨论。
鄢晓玲表示，利用算法在一定程度上能够识别哪些是否是AI生成，让算法具备这样的能力需要大量标注和训练，告诉它哪些内容是AI生成和人类生成的，再通过一部分人工去验证AI识别的准确性，通过不断训练模型去反哺AI。
“硬件、算法和数据，是Al的三个核心要素。通俗来看，硬件，可以把它理解为是教室，它是Al能够去学习的物理条件；算法是老师，它给AI模型的训练制定规则，解决怎么学习的问题；数据则是教材，它决定了Al模型会学到点什么，也就是学什么的问题。由此不难看出，算法和数据非常重要，如果模型设计中带有偏见、不公、歧视或者某些缺陷，又或者数据中包含了非常多‘杂质’， 那么培育出来的AI就有可能‘失控’。”
“举个简单的例子，在涉政领域，对于国家主权、种族歧视，还有各种分裂者的一些观点，训练者会把这种有诱导性的问题抛给模型，看模型怎么回答，然后通过人工干预，让AI建立起边界感，‘不能一本正经地胡说八道’。就像在学校里学习的孩子，毕业的时候要经过一个基本的考试。面向社会公众使用的Al模型，同样应该经过一些基线评测。”鄢晓玲说。
知道创宇目前正在向相关部门提供一些方案，力争能够早日达成业界共识。
在AI诈骗、AIGC内容风险泛滥的当下，作为深耕内容安全领域、具备多年内容安全实践经验的网安企业，知道创宇责无旁贷，将以自身技术能力直面危机，不断寻找解决方案。
愿同社会各界一道，乘内容安全之风，破AIGC时代之浪，为清朗网络空间贡献一份力量。
扫码领取知道创宇ScanA AIGC版一年免费服务
点击阅读原文，查看报道
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...