此篇文章发布距今已超过406天，您需要注意文章的内容或图片是否可用！
数字化带来数据的爆炸式增长，随着企业的信息系统、安全设备越来越多，安全日志数据量甚至可达到PB级别。当前企业广泛采用的日志处理平台面对海量日志数据，往往需要支付高昂的授权费及专业人力成本，但性能瓶颈却无法支撑PB级别体量的日志处理。如何平衡性能、成本和规模这个“不可能三角”？
本期腾讯安全《CSO面对面》栏目邀请到某大型物流企业安全应急响应负责人，以物流行业的安全大数据运营为例，分享企业面临海量日志数据处理难题的应对策略。以下为本期《CSO面对面》文字实录（摘要）。腾讯安全：在现阶段安全运营过程中，你们在哪些场景需要应用到安全大数据？第一个是检测工程。日志是一切的开始，不管是应急响应还是安全响应，都需要日志作为基础进行检测工程；第二个是响应调查。我们从数据中分析攻击路径、TTPS、攻击影响面；第三个是威胁狩猎。我们采购的众多安全设备如何纳入到现有的安全体系中，这就需要在海量的日志数据中寻找异常，其中还涉及到AI参与大数据分析；第四个场景是情报回溯。在国家新基建战略的指导下，企业数字化、云化、智能化转型逐渐加快，业务越来越复杂，面临的安全风险和威胁也是日益严峻的，安全已经趋于常态化和实战化，这就需要大量的基础数据作为支撑，以及有足够的计算能力支撑回溯的流程。腾讯安全：这些应用到安全大数据的场景，能否举几个实际案例？A：印象深刻的是前两年的一次大型的演练，在深夜一个0day漏洞攻进我们的系统，当时是两位同事在做检测分析，我们需要找到漏洞的原因，攻击是以什么样的方式什么路径进入的。在缺乏原始日志的情况下，我们花了一个晚上的时间才找到原因，复盘的时候，我们发现如果当时有历史HTTP流量数据的话，我们就可以根据时间比较快速地定位到具体漏洞路径。这让我们深刻地意识到日志数据的重要性。响应场景在日常运营中还是比较常见的，总结下来我们响应调查涉及到的排查项有将近100项，例如遭遇IM钓鱼时响应会涉及进程网络日志，IM发送日志、邮件发送日志、业务系统登录日志、内部协作系统上传下载、集群系统登录、操作日志等等有这些原始数据，才能把调查分析做得更彻底。腾讯安全：作为头部企业，可想而知你们数据运用的维度和广度是非常庞大的，可否结合企业当前的安全发展态势介绍下这些海量安全数据规模的主要来源？A：主要是安全业务需求的变化，真实世界里的网络攻击在增多，比如信息窃取、勒索、诈骗等，在这方面的威胁感知比以往多了很多。应对这些风险变化，我们经历了“从0到1”两个阶段。最开始响应建设是属于救火式的，业务上报影响后，我们进行针对性排查，需要通过人工的方式摸排到攻击的路径，比较被动，效率也比较低。“1”的阶段我们把安全日志告警都聚合起来，逐渐建立了体系化的监控平台，主动发现已知的事件。但仅仅这样还不够，随着攻击越来越频繁，手法越来越高级，怎么去发现绕过防御的攻击者，这是目前我们第三阶段需要做的事情，需要我们采集更多的原始数据，如主机进程网络日志、业务系统日志、用户行为日志等。像今年比较热门的银狐团伙，常用白加黑手法我们难以通过端上的安全工具进行直接的检测发现，这就需要大量的原始数据作为支撑。实际上，检测的逻辑并不复杂，关键点在于怎么将海量终端的数据收上来，建立一个程序执行数据的基线，如进程执行路径、DLL加载名称以及路径，这没有一个大规模日志存储以及实时计算平台作为支撑很难实现。腾讯安全：数据从GB级别到TB、PB级别，针对原始数据的分析和关联，对整个平台的性能和策略存在哪些挑战？A：对于我们而言，困难点在于实时性，这也是一个比较关键的指标，业界通常用MTTD、MTTR来衡量应急响应，计算量小的情况下可以达到分钟级别，但遇到海量数据的计算本身告警跑完可能都是小时级甚至天级别。另一个是存储的成本，最开始可能几台服务器就搞定了，PG级别是一个比较大的数据集群，同时面临着数据分散的问题。由于数据量太大了，我们需要分冷暖热等不同的资源池进行存储，这对威胁狩猎场景带来较大的挑战。此外，在大的集群规模下，我们需要配备专门的运营人员负责数据接入、格式化，工作量非常大，在安全分析环节，也需要专业的人员进行负责，需要对大数据分析技术的应用、兼容以及所有平台都比较了解。腾讯安全：如果缺少这样的平台支撑，以威胁检测和调查响应场景来说，从秒级分钟级的处理效率降为小时级、甚至天级，会对安全运营带来什么风险？A：在几年前的一次事件中，我们的检测时间大概是一个多小时，在这个时间里，攻击者已经横向通过几台服务器，并基于这几个服务器又进行横向跨越，最终我们花了一个通宵的时间把整个攻击链路还原。在真实的攻防对抗中，时效性非常重要。其次是易用性，需要了解不同的平台，基于不同平台进行分析规则的集成，这在人员投入上非常大。腾讯安全：对于安全大数据技术在安全运营场景的结合有什么展望？A：最近比较流行的AI大模型需要大量运营数据进行训练，在我看来，安全数据湖是一个基础，加上模型训练能力将会生成一个比较完美的解决方案。在安全数据湖上增加机器学习能力，大数据叠加算法，更好地挖掘安全数据的价值，以应对当前安全运营的挑战。
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
ZhouSa.com-宙飒天下网
还没有评论，来说两句吧...