深度研究：AI技术在威胁情报运营的应用实践

https://unit42.paloaltonetworks.com/cve-2024-3400/

https://r.jina.ai/https://unit42.paloaltonetworks.com/cve-2024-3400/

https://www.welivesecurity.com/en/eset-research/moon-backdoors-lunar-landing-diplomatic-missions/

compromise最合适的翻译应该是失陷或侵入，high-profile比较好的翻译应该高关注度、高知名度实体。

没有大模型加持的翻译甚至做到文本通顺都有问题，就象Google Translate那样。

GPT4翻译得比较通顺，但对我们关注的概念处理上还谈不上完全正确。

GPT4改进提示词以后的表现有所改善，但Kimi看起来翻译得最贴切。

小结

● 基于大模型技术的翻译水平碾压传统的翻译技术，大模型对于多语言的掌握已经远超一般的人类，在技术文档的翻译方面代工基本上已经可有可无。

● 就翻译中文的需求而言，中文的大模型翻译效果上优于哪怕是最好的国外大模型，在这点上国内原厂的大模型确实还有些优势。

情报信息的来源除了现成的文本，图像视频也应该是另一个重要来源，在这个领域我们也应该积极获取数据，所以OCR的技术也是必备的，而这方面也是大模型所擅长。

这是一个扫描版的SANS培训材料，虽然为PDF文档，但文档的每页都是一张独立的图片。我们尝试通过OCR技术提取图片中的文本与格式。

市面上已经有不少基于深度学习的OCR工具，这里展示的Surya工具只是其中一个，对于文档的处理已经比较完善，识别完成以后保持与图像完全一致的观感(右边是源文档页图片，左边是识别后的文本)。但从情报分析需求来看，下面我们来看看大模型在OCR功能上的表现。

 用大模型执行识别任务，先尝试GPT4 vision模型，Prompt：

You are provided with one image (see uploaded file). You need directly extract text from image. You need feedback me the extracted text. Keep the paragraph structure from the original image. Remove extra new line characters and keep one new line between each paragraph.

从识别以后输出的格式看，GPT4并没有百分之百的还原，忽略了部分它认为不重要的信息，还会对格式有一些自己的改动，注意上面那7个条目的编号，PPT页脚的内容被忽略了。

通义千问内容还原度相当高，没有什么自己额外的发挥，包括PPT页的页脚都翻译并呈现了，对段落进行了智能识别与重整。

Kimi识别出了几乎所有文本内容，但在输出格式上做得很不好，甚至有点错乱，段落的回车位置却严格按照原图，没有做智能化的处理。

总体来看通义千问的输出效果最好。

换到对于视频中的文字识别场景，我们先用GPT4 vision处理，Prompt：

You are provided with one image (see uploaded file). You need directly extract text from image. You need feedback me the extracted text.

可以看到它准确地识别出了核心内容，还自动分割了区域，并给出了自己的看法。

让Kimi和通义千问来识别一下同样这个图片，结果：通义千问只识别出了部分内容，Kimi识别出了里面大多数文字，但看起来并没有理解里面的内容。但智能化的分析理解就一定好吗？看下面的例子。

这是某年参加的一个安全会议上拍的演讲题目，拍得不清楚不是因为离得远，而是屏幕分辨率实在不高，让GPT来处理这个内容识别。

注意PPT标题部分，出现了幻觉！大模型知识内置的好处在于能自动弥补上下文，甚至基于此做更深入的研判，但坏处是随意发挥造成误导。对于质量较差的图片，其输出的结果不能完全信任。

通义千问对于这个图片的内容识别比GPT4准确得多：

小结

● 对于一般印刷文本的识别上，基于神经网络的AI技术已经能够非常准确地完成任务。

● 由于大模型具备的理解能力，它不仅仅简单识别其中包含的文本，还能对场景做出判断，理解其中的意义，对文本的呈现会选择合适的方式，甚至利用模型内部的知识做补齐（不一定好事情）。

● 涉及中文的处理最好还是用国内的大模型，比如通义千问。

大模型的智能可以是你的福音，但也可能成为你的毒药，严肃使用识别出来的信息需要进一步验证。

每天从数千个源收集到数以万计的文本以后，不可能由人工去挨个查看，需要有自动化的系统批量对文本做属性判定并在后续提取关键信息。

在大模型技术前，奇安信人工智能研究院就已经使用神经网络做文本分类，监督式的学习，核心用到了Bert模型。

之前的这个技术流程可以实现分类的粗分类，包括的属性有：是否安全相关、是否安全漏洞相关、 是否恶意软件相关、是否网络犯罪相关、是否APT相关等，效果基本可以接受，能力已经加入了我们的威胁情报运营流程。

然后，大模型出现了，现在的技术都能分辨说话的情绪倾向，高兴还是沮丧，用来分类文本是否与安全相关更是轻而易举。这里的是Kimi对一个网页内容研判的例子，Kimi总结了网页的内容并准确地判定文章与网络安全无关。

另一个介绍Mac平台恶意代码的文章，Kimi非常轻松地对文章内容做的总结和判断。

但是，Kimi对于某些具体的安全属性判定存在问题。文章安全漏洞应该是不相关的，与具体的网络犯罪也不相关，说明Kimi在这些问题的处理上存在缺陷，模型的能力并不完美。

那么我们来试一下其他的模型，Llama3对于我们关心的几个问题是否判定是正确的，体现Llama3有更准确的内在知识。

通义千问与Llama3的判断完全一致，而且正确，在这方面要比Kimi强。

小结

● 自然语言处理上，大模型对传统NLP形成碾压式优势，以前非常麻烦的流程设计实现，现在你需要提要求就行了。

● 各个模型对情报分类及其他任务上表现还是有区别的，需要仔细评估擅长点，根据不同的任务选择合适的模型，资源丰富的话可以同时使用，采用投票机制。

● 以上这些例子其实只是充分体现了大模型的在文本和图像处理上通用能力，跟具体的安全业务紧密度不太高，下面的任务就与安全领域关系密切了。

恶意代码分析是整个威胁情报生产过程中的重要环节。绝大多数的文件分析是通过动静态的扫描分析引擎处理的，但对于某些新文件对象可能需要人工的介入，这也会是威胁分配中最耗费时间的环节。如果能让包括大模型大内的AI技术帮助提升分析效率，可以取得非常好的效果。

下面是我们的一些尝试。

大模型最早的代码分析协助以IDA插件的方式出现，它可以解析IDA中的函数，理解其功能给出可以描述性的函数名。这里是恶意程序分析二进制程序的反汇编代码中一个例子，另外，大模型分析脚本代码，哪怕是混淆后的，也非常得心应手。

前一阵子Google发布了一篇博客文章，介绍其Gemini大模型在分析恶意代码方面的亮眼表现。Gemini 1.5 Pro提供了一次性100万Token的处理能力，分析反汇编和反编译的代码文本，一个中等规模的可执行文件处理时间仅为30-40秒，可以判断是否恶意并给出相应的参考信息，生成相当有用的报告。

文章中提到了两个样本例子，一个是WannaCry勒索蠕虫病毒的变种，另一个是在VirusTotal 0检出的恶意文件。我们找到那两个样本用IDA生成了对应的反编译C代码。

下面测试一下其他我们能得到的大模型对于这两个样本的检测分析结果，Prompt直接翻译自Google文章里对应的英文：

充当恶意软件分析师，彻底检查反编译的可执行代码。有条不紊地分解每个步骤，重点关注理解底层逻辑和目标。您的任务是编写详细的摘要，分析代码的行为，查明任何恶意功能。从判定（良性或恶意）开始，然后是活动列表，包括 IOC 列表、创建的文件、注册表项、互斥体、网络活动等。

下面是几个模型对于WannaCry勒索蠕虫变种样本分析结果：

Kimi与千问的分析结果表现大体相当，Kimi对于安全方面的信息收集与解读稍好，千问跟随指令的能力更强些，两者都通过模型内部的知识判定样本与WannaCry有关，毕竟那是2017年的事情了。

奇安信的安全大模型也分析得到了类似的结果，各个模型都通过发现可疑的加密的操作判断样本偏恶意，内置的知识也提示与WannaCry有关。

第二个VirusTotal上的多病毒引擎的0检出样本对大模型是个高难度的考验，这里是Kimi和千问的表现。

总体来看结果并不让人满意，Kimi虽然判定为恶意，但并没有给出靠谱的理由，千问就直接判定来非恶意，不奇怪，毕竟这两个只是并没有根据安全分析需求做过调整的通用模型。之前对于第一个WannaCry变种样本的判定很可能更多依赖已经学习到老知识。

来看一下奇安信安全大模型的分析结果，做出了准确的恶意性判定，并且给出了合理的依据。

把Google Gemini模型的结果再拿回来做下对比：

剪贴板监控、查找进程、大量的字符串操作这些疑似恶意的行为两个模型都发现了，奇安信的模型还发现了查找窗口这种明显恶意的操作，IOC获取方面各有千秋。

小结

● 从分析能力上看，即便是没有专门为恶意代码分析做过优化的通用模型也表现出了一定的恶意代码描述能力，但还远远不够，经过安全分析能力调校的模型会有好得多的表现。

● 上下文窗口的大小非常重要，直接影响一次性处理代码块的大小，影响分析的完整性，从而影响分析的准确度，但目前开放可用的大模型可能由于资源限制大多只能提供最大128K的上下文的窗口，需要通过一些技术方案来解决这个问题。

从非结构化的文档里抽取威胁元素实体及关系，这是威胁情报信息收集的关键环节。每天，我们从开源渠道能获取到大量的文章，描述各类新近的攻击活动，包含工具、过程、手法及IOC信息，我们需要自动化的手段来高效完整地提取关注的内容。

以前，比较成熟的方法是基于神经网络的自然语言处理，模型的训练需要海量的数据，算法的开发应用需要相当专业的人员，使用还是比较麻烦，现在有了大模型要方便很多了。

现在大多数的威胁活动分析文章会把IOC统一以相对结构化地呈现放在文章末尾。例子里的这个文章包含的IOC类型非常丰富。

我们可以构造Prompt来让大模型来干活，Prompt的设计是一个反复测试优化的过程，根据反馈的结果提要求加限制，最终得到我们想要的信息与格式：

假设你是一位网络安全专家，下面以3个单引号包含的网页链接是一个网络攻击活动的报告，请从中提取如下这些信息。

1. 发布这个报告的厂商。

2. 攻击者的名称，包括可能的别名。

3. 遭受攻击的目标。

4. 攻击目标的行业，需要尽可能详尽。

5. 攻击发生的起始和结束时间。

6. 攻击者所使用的网络基础设施，包括：IP、域名、文件Hash、URL、数字证书、注册表项。

7. 攻击者所使用的软件或工具，需要尽可能详尽。

8. 攻击者所使用的恶意代码家族，需要尽可能详尽。

9. 攻击者所使用的硬件。

10. 攻击者所使用的攻击手法，添加手法对应的ATT&CK技术点ID

11. 如果有相关的信息的话，生成相应的流量检测规则和文件检测规则。

12. 攻击者所使用的安全漏洞，包括ID或漏洞名。

输出中不能包含文本中不存在的对象。

以JSON对象的形式给出结果，全部使用英文字符集，不存在或未知的值设置为空，以方便拷贝的代码格式输出。

‘’'

https://www.welivesecurity.com/en/eset-research/moon-backdoors-lunar-landing-diplomatic-missions/

‘’’ 

我们调用了Llama3模型执行这个抽取任务，结果看起来很不错，在这个案例里TTP和IOC信息抽取得很完整，而且自动去除了混淆（比如IP字串中的方括号）。

 输出的信息需要保持字段和结构的一致，这可以通过给出样例的方式来约定，聪明一些的大模型会严格按给定的样例来输出。

如上面这样，Prompt在原来的基础上增加了输出样式的指定，Llama3这样级别的模型完全可以正确处理。

小结

● 输出样式如果没有明确的示例会非常随机。

● 数据提取不能保证完整，因为有Token窗口限制，并且不一定每次保持一致。

● 虽然有明确要求，但还是可能出现幻觉，后续如要严肃使用需要加入校验环节。

● 模型平台具备处理网页链接的能力会非常方便，而且可能节约Token量。

● 对于链接的爬取不是非常稳定，可能由于网络原因爬取失败。

威胁情报的生产涉及海量的多类型数据的分析，典型的有IP、域名、文件Hash、URL、数字证书、邮箱地址等，这些实体之间从安全分析的角度可以被组织成知识图谱。构建完成以后可以作为后台被用来支持各种应用，比如自动化的关联性检索，交互式的实体探索，基于机器学习的图相似分析。

目前，在这个方向上我们还没使用到大模型，但在学术圈已经有了些尝试，以后有可能应用到工业界。

基于已知恶意节点，在我们的数据视野范围内拓展发现在更多的恶意节点，这是我们威胁情报运营中的一个非常核心的需求。利用威胁实体知识图谱，结合机器学习实现可疑的恶意节点推荐是目前我们一个比较成功的实践。

为此，构建了一个目前规模已经达到百亿节点与边的图数据库，节点类型超过20种，经过子图提取和图嵌入训练，图神经网络训练，通过模型输出推荐的疑似恶意节点。

我们构建了一个目前规模已经达到百亿节点与边的图数据库，节点类型超过20种，经过子图提取和图嵌入训练，图神经网络训练，通过模型输出推荐的疑似恶意节点。

基于图谱的推荐已经形成稳定的情报运营流程，每日控制推荐100个未知黑节点提交人工确认，准确率超50%。看起来准确率不高？运营的核心要点在于根据可投入的人工验证资源多少控制每日绝对输出量，只要绝对数量可以做到日清，50%的准确率是完全可接受的。

以上各环节中采用的AI及大模型技术主要用于一些单个的点。接下来我们说一下，当前最热的基于大模型的智能体技术。

要完成一个相对复杂的任务，需要把各个流程串联起来，目前已经出现大量的Agent，在安全方面的应用只是其中一个小角而已。下面这个问答应用就是奇安信内部一个比较大的Agent项目，界面上看起来简单，但后台的流程其实相当复杂，从意图识别，安全检测过滤，到后台各类数据源的对接，要实现好的反馈效果与性能，需要大量的工程化设计与测试调试。

目前，我们还在探索其他威胁分析类的场景。在Agent方向，我们可以做的事情还很多，比如情报的更自动化的关联分析。

威胁情报生产出来以后，除了将数据提供给检测类设备消费，还有给安全人员看的。

在这方面，模型的文本总结和摘要能力可以被充分利用起来。奇安信的Alpha平台上对于一个域名的研判页面，罗列了各类维度的信息。

其实这样的信息陈列对一般的用户来说结论还不够直接。生成一个人读的总结报告是更友好的界面，怎么做最容易？

最简单的方案，整合一个数据接口出来，包含了一系列结构化的核心信息，前面定制一个Prompt，交给大模型整合生成总结就行了，本质上一个最简化的RAG，结果远好于一般的安全分析人员人工撰写。

Prompt加部分数据的例子：

“假设你是一个网络安全专家，以下这个json对象是关于一个网站域名（data.whois_abstract.domain）相关的情况。首先，请输出域名相关的基本信息，包括：注册信息（data.domain_attribute.createdate,data.domain_attribute.updatedate,expiratedate）,是否为动态域名（data.domain_attribute.is_dynamic），是否为白名单域名（data.domain_attribute.in_whitelist）,当前绑定过的域名（data.subdomain.examples），当前的标签信息（data.domain_tag.examples）。

   然后，请基于如下这些维度信息对域名是否倾向于恶意做判定：   

⁃ 标签信息（data.domain_tag.examples） 

⁃ 域名属性（data.domain_attribute.malicious）

⁃ 域名相关的文件样本（data.domain_try_connect.examples）

是否恶意的结论写在输出的前部，并给出相应的理由。如果存在域名相关的文件样本（data.domain_try_connect.examples），请罗列出来详细的信息。最后，给出相关的参考资料链接（data.report.examples），展示具体链接文本，并下载解析链接对应的内容并做总结。    不要提json里的具体字段名。请全部用中文答复。

{

    "status": 10000,

    "message": "执行成功",

    "data": {

        "domain_attribute": {

            "popular": "",

            "createdate": "2022-06-07 15:10:40",

            "updatedate": "2023-08-19 19:03:10",

            "expiratedate": "2023-06-07 15:10:40",

            "last_seen": "2024-03-21 19:07:20",

            "is_dynamic": false,

“

我们来看看各个模型对于一个域名进行总结的输出表现，它们的输入从Prompt到数据都是完全一样的。

结果看起来差不多？其实，从一些细节可以显示模型在安全分析方面一些能力区别。在判定理由部分，Kimi只是简单罗列了发现的标签；Llama3则能把真正影响判定结果的标签给挑出来，显然GPT4更强。GPT4还能对标签做出分类，理解APT C&C是什么意思，哪些标签是APT组织名，这是模型内置知识与推理能力的综合体现。

另一个文件样本的沙箱日志的例子。在行为活动的结构化数据前添加一个简单的Prompt，交给大模型总结，我们可以对其自动生成人读报告。

与域名分析报告类似，给定部分样本的关键信息以后, 大模型自动生成人读的报告质量基本可用。

对于漏洞信息，我们也可以更方便地基于多源信息进行总结，整合了搜索最新信息与AI总结能力的新搜索引擎，对传统漏洞库是降维打击般的存在。国外的应用有Perplexity，国内的则有秘塔，也有一些开源项目也实现了类似的功能，甚至可以本地部署，缺点是调用搜索API成本并不低，也不能大规模地对外提供服务。

除了总结一些技术层面的描述，还可以通过搜索整理相关的安全事件，提示漏洞在现实世界里所导致的实际风险，对用户采取应对措施的优先级排序非常有指导意义。

其实，使用Kimi处理漏洞相关的参考信息链接也能达到类似效果。当然，漏洞相关的结构化关键信息还是需要的，通过API集成到组织内部的漏洞运营流程里。

我们已经将上述这些对威胁实体的大模型总结，集成到奇安信的Alpha威胁研判分析平台，这对用户的使用体验是个很大的提升。从现在开始，用户只要登录访问奇安信威胁分析研判平台，直接就能看到集成的AI总结。

最后，说一下目前也非常热门的RAG，这是结合大模型的生成能力与本地或新近内容提供诸如问答服务的系统，通过外挂知识的方式解决私有数据和实时新信息的检索，这个能力在网络安全领域也是真实的需求。

事实上，大模型在安全检测和分析系统中的最早应用，比如SOC、NDR等系统，其核心就是本地的RAG系统，为用户提供自然语言的问答接口，大模型分析用户需求的任务类型，基于模型自身的知识或转化为内部各类数据源的查询获取相关信息，最后，大模型对用于答复的信息生成人读的答复，这也是加强安全设备使用检验的最基本应用。

在威胁情报运营输出方向，我们也做了些实践。这里的例子是尝试把一个国外的威胁百科网站转化本地可问答查阅的系统。

Malpedia是一个网络威胁信息的百科，包含15000多个文章的链接，提供链接下载。可以尝试将其指向的内容RAG化，支持基于自然语言的搜索和关联。

我们尝试了QAnything工具，把从链接指向的内容通过jina.ai平台爬取下来导入本地知识库，但可能限于机器的性能，效果并不太理想。

不过，目前类似的RAG工具越来越多，也越来越成熟。如果我们采用更好的硬件，配合更完善的软件，应该可以得到非常好的结果，这也是迟早的事。

四、实践总结

1.大模型作为通用智力引擎几乎可以赋能所有的任务，组织需要在内部和外部构建这样的智力基础设施。本地部署需要一定的硬件资源投入，主要应对处理私有数据的场景，效费比未必高；如果只是处理公开非敏感数据，建议直接使用各大模型厂商的云端服务，效果可以，费用其实也不高。

2.大模型技术可以极大提升安全分析及威胁情报运营的效率，降低运营流程开发人员的能力要求，以较小的人工投入获得更好的结果，在各环节中综合使用AI技术可以提升50%的效率。

3.长上下文窗口能力很关键，对于文本内容的总结、恶意代码的分析、漏洞的挖掘、RAG功能有决定性的影响，需要持续开发相关的技术。

4.大模型自身的能力强弱会极大影响提示词工程和产品化的工作量，背后的道理很简单，让聪明人干活你只要给出目标，不需要指导怎么做，但对能力不强的下属你甚至得指导具体的执行步骤。

各个大模型在不同的任务中各有擅长的表现，目前还没发现全能的模型同时满足我们的所有需求：

◆ Kimi的中文总结与指令跟随能力强，上下文Token空间大，能直接处理链接爬取，通义千问综合能力差不多。

◆ GPT4的知识和推理能力最强，中文处理尚可。

◆ llama3推理能力接近GPT4，中文处理能力差（原始模型），但最大的优势作为开源模型可本地部署。

◆ 特定的安全分析任务，比如恶意代码分析、攻击检测，通用模型的能力还是不够，需要专用的安全分析模型。

基于大模型技术的各类包装应用，RAG、LangChain、DIFY、Agent等等风起云涌，很多时候并不需要自己开发，直接使用改进即可。

本地RAG系统涉及很多工程细节及原始数据的质量，要出好的效果比较有挑战。

警惕幻觉，哪怕是RAG和基于限定内容的总结，也可能出现，基于GenAI的判定对外执行操作需非常谨慎。