前沿研究｜安全运营中的加密流量检测技术

随着加密技术的广泛应用以及数据隐私安全要求的增加，加密流量呈现爆炸式增长。根据谷歌最新的透明度报告，互联网排名前100位的网站100%支持HTTPS加密，其中97%默认采用HTTPS加密。虽然加密技术保护了用户的隐私，但技术的滥用也深刻地改变了网络安全的格局，不仅使得网络欺诈和非法在线交易变得更容易，同时黑客也更容易逃避对勒索软件、网络钓鱼和数据泄露的检测。根据WatchGuard的一项互联网研究报告，有91.5%的恶意软件被检测到使用HTTPS协议进行加密传输。这意味着那些没有检测系统来解密和扫描HTTPS流量中恶意软件的公司将会忽略超过百分之九十的恶意软件威胁。Zscaler安全威胁实验室近期发布的另一项研究报告也声称，截至2023年10月，全球勒索软件攻击数量同比增长37.75%，勒索软件的有效攻击载荷激增了57.50%。

在真实攻防场景中，攻击者在目标信息获取、权限获取、访问和控制维持等恶意活动中会产生各种不同类型的加密流量，主要集中在以下三种场景：

1.恶意代码为逃避安全产品和安全运维人员的检测，通常使用加密通信进行伪装或隐藏明文流量特征。

2. 加密通道中的恶意攻击行为，主要是指攻击者利用已创建好的加密通道进行恶意嗅探、暴力破解等攻击行为。

3. 恶意或非法加密应用，主要是指使用加密通信的一些恶意、非法应用，如：Tor、翻墙软件、非法VPN等。

传统的流量检测技术例如基于有效载荷的深度数据包检查（DPI）方法，以及基于端口的识别检测技术在加密的恶意流量面前往往无能为力。因此在安全运营中研究出一套基于加密流量的检测和防御技术势在必行，目前加密流量检测的方法可分为两类。第一种主动检测方法是通过证书解密获取纯文本，从而进行DPI或规则匹配的方式来检测流量。第二种是基于恶意流量行为模式构建加密流量特征集，利用诸如机器学习等非解密方法来检测和识别加密流量。由于加密流量设计初衷以及被广泛使用的原因都是基于保护用户隐私，且证书解密的主动检测方法非常消耗硬件性能，因此目前的主流研究方向是在非解密的情况下进行加密流量检测。

基于非解密的加密流量检测和识别主要依靠机器学习技术。随着人工智能技术的发展，机器学习（ML）和深度学习（DL）已经被引入到加密流量检测领域。机器学习是人工智能（AI）和计算机科学的一个分支，计算机使用算法从数据中学习，完成预测或分类任务而无需被明确地编程。深度学习又是机器学习的一个专门的子集，它将算法和计算单元或神经元分层来实现人工神经网络。深度学习使用了基于人脑模型的复杂算法结构，这使得处理如图像、自然语言处理和情绪分析等非结构化数据成为可能。目前，对恶意加密流量检测的研究主要集中在特征提取和机器学习及深度学习算法的选择上。

目前业内非解密方案（机器学习）普遍维度特征较少，且一般都在内部环境训练，从而导致真实场景下误报较高；JA3指纹或是攻击工具规则都需要时间积累，没有好的AI模型辅助，很难出现量化的成果积累；而针对攻击性更强更隐蔽的魔改或者非公开工具的专项AI模型检测也呈匮乏之势，且由于攻防实时对抗，除了构建模型以外还需要投入大量人力在模型优化上，导致AI模型还有时效性限制。

绿盟科技针对传统加密流量安全方案的问题，通过深入研究，应用机器学习算法，针对旁路镜像流量，通过数据处理、特征工程、模型训练、情报融合等手段，提供可落地的加密流量检测与识别方案，进行真实环境训练、专业比赛演练，解决不解密进行加密流量检测的问题。不仅针对不同加密流量威胁检测场景进行AI模型构建，更是利用SecXOps（SecXOps是一款自研的针对网络安全数据进行建模分析，并提供各类模型全生命周期管理的平台）进行云端模型持续运营优化，提高模型运营效率，杜绝“一次性模型”，保证持续投入，紧随攻防对抗实时动态。具备高精度、高性能的特点，同时支持多个应用场景，可精确识别Tor、shadowsocks、v2ray等加密代理工具，以及冰蝎、哥斯拉、蚁剑等加密webshell黑客工具。

绿盟恶意流量检测方案不仅仅停留于TLS解密，更是通过模型特征、规则、指纹等不解密手段，将大量加密攻击工具一网打尽。以下是三大核心能力介绍：

1、规则检测能力

绿盟恶意加密流量检测方案支持150+加密攻击工具检测，覆盖加密威胁全场景，重点针对失陷后的加密攻击检测（webshell、木马回联、反弹shell、代理、隐蔽隧道等）。

2、指纹检测能力

针对常见工具，通过指纹库深度覆盖各种版本和安装环境，例如Cobalt Strike指纹库超过300种。Cobalt Strike是熟知的渗透测试利器，功能十分强大，可扩展性强，从前期载荷生成、诱饵捆绑、钓鱼攻击到载荷植入目标成功后的持续控制、后渗透阶段都可以很好支持，几乎覆盖攻击链的各个阶段。并且支持多种上线方式，以及多种丰富的配置可以达到非常好的隐蔽效果。CS teamserver团队服务器又可以使众多CS客户端连上它，以进行团队协作。如此优秀的渗透测试框架自然得到了众多黑客和APT组织的青睐，纷纷应用到真实攻击活动中。绿盟全流量威胁检测系统UTS内置300+CS指纹，其检测能力毋庸置疑。

3、模型检测能力

绿盟科技657-AI模型对海量加密流量数据集合(实验室各类翻墙工具搭建，长时间翻墙流量捕获、以及在各个渠道收集的翻墙工具加密webshell流量)进行特征提取(多达657维)，通过高质量样本的训练提高模型的准确性和泛化能力并提取多维丰富特征，提升模型非线性表达能力，采用异常值剔除，数据标准化等处理，增强模型的鲁棒性；同时绿盟全流量威胁检测系统UTS为充分利用不同模型在不同场景检测的优势，通过多模型融合，减少单模型的局限性提高整体的准确性和鲁棒性。最后为了应对生产环境中新业务上线和业务场景的不断变化等情况导致的模型性能下降的问题，基于安全智能分析平台SecXOps进行迭代更新，减少模型优化升级过程，降低成本，提高模型运营效率，面对非公开或者魔改工具等准确率大大提升。

近年来加密流量在攻防对抗中的使用频率越来越高，针对攻防演练场景下的加密流量威胁，特别是资产失陷后的加密C&C通信的检测，可以说是守护企业安全运营的最后一道防线。绿盟科技多年来专注于加密流量威胁检测技术研究，形成了一套综合利用多模型机器学习、指纹检测、行为检测、加密威胁情报的解决方案，对各种不同类型的加密威胁进行有针对性的检测。在2023年的攻防演练中，绿盟科技多次独家发现加密隐蔽隧道攻击，发现失陷主机并溯源到攻击者，做到及时发现，及时预警，为客户最大程度减少损失做出贡献。