关注我们丨文末赠书
互联网创造了新的时代，但伴随而来的，也有黑灰产这样的“恶疾”。只要身处网络中，我们每个人可能都是黑产眼中的目标。我想以一次亲身经历的事件进行说明，这种危害有多大。
当时，我所在的公司以视频业务为基础，推动成立了一个广告联盟。加盟成员通过挂载我们的广告链接，可以按点击数分成。这是一个很理想的模式，但差点被黑产搞失败。
业务上线没多久，我们就发现有的加盟成员广告点击量超高，但转化率几乎没有变化。面对这种异常情况，我们只好暂停支付分成，分析后台日志数据。
结果发现点击时间段非常集中，IP地址也就那么几个，有很明显的自动化刷量行为。我们认为数据存疑，要求对方也给出后台数据进行核对，他们就没有再纠缠。
但没过多久，异常流量再次出现，这次访问时间分散开了，IP地址也不重复了，我们意识到这是遇上了专业黑产。因此我们不得不紧急修补规则，为这不知道熬了多少夜、加了多少班。
所以，凡是在互联网开展业务的企业，都必须要建立起专业的反欺诈体系。
《大数据安全治理与防范——反欺诈体系建设》这本书就如何对抗黑产，给出了具体的对抗思路、关键技术方案与反欺诈实战案例，帮助企业打造安全护城河。
▲ 点击封面，即可购书
本书凝结了腾讯的一线经验，可以帮助读者全面学习大数据安全治理与防范的背景、关键技术和对抗思路，手把手教你打造反欺诈对抗系统。
作者张凯和张旭是来自腾讯的工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要涉及游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等，拥有丰富的实战经验。
知彼知己，百战不殆。我们先来了解一下，黑产都是怎么干坏事的吧。
01
骗子说：“我有 100 种方法让你上当。”这不是自吹自擂，是事实。公安部门打击的电信网络诈骗类型就有 100 多种。
电信网络诈骗的可恨之处，就在于它是冲着这个社会上的弱势群体去的。例如信息不足的老人、低收入人群，以及患者等。常用的手段有刷单兼职、“杀猪盘”、低息贷款、虚假医疗广告等。
企业经营者最恨的就是营销欺诈，黑产一次作恶，就能将营销活动的效果降为零。之前提到我公司被黑，就是典型的刷量作弊。还有“薅羊毛”，把优惠、返利等尽数吞没。
还有身份盗用这类欺诈行为，盗取正常用户信息，伪造之后用来骗取贷款。网络色情、网络赌博、网络洗钱等活动，都是黑产的罪恶勾当。那么黑产干这些坏事都用了什么技术手段呢？
猫池
黑产需要大量的虚假账号来进行诈骗活动，要实现自动化养号，“猫池”就是一种硬件设备，一台机器就可以维持上百张手机卡（“黑卡”）的活跃状态。你接到的诈骗电话，很有可能就来自这样的手机卡。
▲ 猫池设备
改机工具
在“薅羊毛”的活动中，平台会限制同一 IP 与同一设备仅能参与一次。黑产就另辟蹊径，使用改机工具篡改手机 IMEI 、MAC 地址等属性，一台设备就能无限次使用。针对 IP 的限制，黑产会使用 IP 工具绕开，这些手段包括代理 IP 、秒拨 IP 、IP 魔盒等。
▲ 某改机工具示意图
多开软件
多开软件可以实现在同一台设备上安装多个相同应用。例如想装多少个微信都可以，方便进行“杀猪盘”这样的社交诈骗。由于多开软件使用起来十分便捷，因此近年来多开软件被黑产团伙所利用，用于刷量“薅羊毛”“杀猪盘”社交、多账号欺诈等，大大提升了作恶效率。
虚拟定位工具
通过工作，诈骗团伙甚至可以制造假的定位，这在黑产中有很多应用。如在“杀猪盘”诈骗中，诈骗人员使用虚拟定位工具将自身定位到上海、深圳等一线城市，将自己伪装成金融或科技精英，增强身份的可信度，进一步骗取受害人的信任。
按键精灵
这个工具可以模拟用户的按键操作，包括输入、点击、滑动等。在企业营销活动中，用大量虚假账号加上自动化的按键精灵，黑产就能将大多数利益收割走。
看得出来，黑产为了非法获利，真是无所不用其极。不过魔道相长，接下来看看我们手中的反诈利剑吧。
02
黑产使用技术工具的特点是：快、变、新。
快，就是自动化程度高，仅用很少的人力就能实现规模较大的犯罪活动；变，就是作案手段多样，一条路不通，马上就有替代方案；新，是运用的黑产技术较新，技术工具迭代升级快。
面对如此凶残狡猾的敌人，我们要如何用大数据与特征工程打败他们呢？
大数据的原理是收集海量的原始数据，再对数据进行清洗与计算，最后支撑业务层的应用。
其典型架构可分为三层：
·第一层是存储原始数据；
·第二层是中间计算平台；
·第三层是数据分析业务应用。
▲ 大数据的基本流转过程
特征工程，是基于相关知识将原始数据处理成特征的过程。也就是在对抗黑产的过程中，通过大数据技术完成数据的存储与计算，再使用特征工程识别黑产，对其进行定向打击。
有句话说的是“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。以机器学习为代表的人工智能技术，在对抗黑产的大业中起着不可替代的作用。
特征工程中的最重要一步，就是特征学习，它有两种方式：
一种是有监督的特征学习，在学习中引入样本信息，借助于样本，从原始数据中整合出有效特征；
另一种是无监督的特征学习，它在构建特征的时候只考虑数据本身的规律，不借助样本信息。
通过数据构建出大量特征之后，就要对特征进行筛选，从而进行模型训练工作。筛选特征有3个方法，分别是过滤法、包装法、嵌入法。它们的基本思路，是对特征进行评估、排序、计算权重，以将重要的特征保留下来。
当模型训练完成时，反诈之剑也就铸成，只等着向黑产奋力刺去。
03
利剑在手，我们可以从三个方面对黑产出击：一是基于流量的对抗，二是基于内容的对抗，三是基于复杂网络的对抗。
基于流量的对抗
在前面提到的，我公司遭遇的刷量作弊，现在就可以采用基于流量的对抗办法。包括可实施人机验证、风险名单、规则引擎、多模态集成模型识别等。这些方法的技术原理与实践在《大数据安全治理与防范——反欺诈体系建设》书中有详细说明。
上述方法的实施成本依次递增，企业可根据自身业务特点与安全需求量身定制。能以最小代价解决问题，就没有必要过度建设。
基于内容的对抗
针对大众人群，内容欺诈是黑产最常用的手段。例如通过短信、微信、微博等社交平台发布大量欺诈信息。其媒介包括文本、图像、视频、音频等内容。
黑产一般不会使用常规文字，而是采取同音字、形似字、拆分字、变形字等方式绕过风控系统。图像也一样，会做极化、扭曲处理。下图是我手机收到的一例短信，还有书中展示的极化图像。
诈骗短信，可以观察一下用到了多种文本变化手段：
▲ 图像亮度极化案例
对抗内容欺诈，最主要的思路，就是将变形转换后的内容还原回去。在文本内容对抗中，自然语言处理类 AI 算法是特征工程的核心。在图像内容对抗中，基于神经网络的深度学习，是图像分类模型的主流建模范式。
基于复杂网络的对抗
无论黑产怎样实施诈骗活动，他们最终是要将非法所得收入囊中的，那么由这些虚假账户、站点、银行卡号、支付宝/微信收款二维码作为点，诈骗活动作为边，就可以构成一张传播网络。
▲ 账号节点扩散结果
复杂网络对抗的过程，首先是将点与边的关系构建为网络图，然后对网络图进行测度，找出关键节点，并运用特征工程进行监控。一旦发现异常，就可以即时处理。
例如在金融风控领域，通过复杂网络对抗，往往能在受害者转账的最后一刻发出警示，避免损失。大数据与人工智能技术，可谓功不可没。
04
对个人安全来说，个体要保持警觉，做到事前防范，事后及时报警；对于企业安全，则一定要建立风控系统，这项投资是不能节约的，永远不要对黑产抱有侥幸心理。
《大数据安全治理与防范——反欺诈体系建设》从原理到实践都有翔实说明，可以为企业提供风控技术参考，从而以最低的成本获得性价比最高的安全保障。
▲ 点击封面，即可购书
本书是“大数据安全治理与防范系列”的第一本，这个系列的两本新书《大数据安全治理与防范——网址反欺诈实战》《大数据安全治理与防范——流量反欺诈实战》，预计年底前会上市。第一本书搭建了反欺诈的理论框架，而后面两本书是不同应用场景下的实战应用，敬请期待。
只要有利益驱动，黑产就永远不会收手，而且他们也在不断地迭代作恶的工具箱。大数据与人工智能技术，一样也会被黑产拿来升级反对抗措施。
这意味着在对抗黑产的这条路上，就是魔道相长的过程。要想阻断黑产之手，我们就必须先其一步，在大数据技术与人工智能为基础的特征工程上，不断探索前进。
作者：阿诺
审校：栾传龙、单瑞婷
粉丝福利
1.福利时间：3月16日-3月23日
PART.1
赠书活动
2. 活动规则：
① 扫描下方二维码参与抽奖或公众号后台回复大数据安全即可参与；
② 必要条件：转发本文到朋友圈，抽奖前不可删除；
③ 开奖结束后，请中奖小伙伴及时将中奖信息和朋友圈转发记录发送到公众号后台联系，超过24小时未领取的视为自动放弃哈！！！
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...