在现代数字时代，几乎每个个人和机构都会产生可追踪的在线存在，留下大量信息。这种数字踪迹或足迹拥有无需明确同意即可收集的潜在情报。

尽管人们可能承认此类信息的存在，但获取它并不像从公共领域获取数据那么简单。收集情报的过程是一门细致入微的科学，需要了解在哪里以及如何发现相关细节。这正是OSINT（开源情报）工具的重要性所在。

OSINT 工具的目的是从互连在线平台的复杂网络中精确定位和聚合目标的基本情报。由于这些工具是公开访问的，因此任何人都可以使用它们，尽管它们主要由广泛依赖此信息的黑客和安全专业人员使用。

这些开源情报工具可根据用户的目标适用于进攻和防御目的。作为一名深耕信息安全实践的人，我的目标是让同行了解 OSINT 在我们日常运营中的作用。在本次讨论中，我们将深入探讨 OSINT 的组成、其必要性、典型的广受欢迎的情报、使用这些方法的各种用户，以及对安全调查至关重要的基本 OSINT 资源的精选汇编。

开源情报是什么意思？

OSINT 是开源情报的缩写，表示从公开可用的来源和数据中收集情报的做法。与需要特定访问的机密信息相比，开源情报依赖于可以不受限制地合法获取的可访问数据。这包括互联网上的数据、公共记录、新闻文章、社交媒体平台和商业数据源等。

在网络安全领域，开源情报通过收集有关针对组织的外部威胁的情报来为信息安全团队提供服务。它通过整合相关的可公开访问的数据来帮助绘制组织的数字存在和潜在攻击点。这使得安全分析师能够查明组织在线领域内可能被恶意行为者利用的潜在漏洞。OSINT 在网络安全中的常见应用包括外部威胁分析、绘制攻击面、调查基础设施、识别网络漏洞等。

为什么在安全运营中心 (SOC) 中使用 OSINT？

如前所述，安全专业人员发现开源情报 (OSINT) 工具对于简化原本繁重的任务具有巨大价值。在我们的安全运营中心 (SOC) 内，我们利用一系列 OSINT 工具和方法来强化我们的安全立场：

1. 威胁情报— OSINT 使我们能够探索最新的黑客方法、新出现的威胁、现实世界的漏洞和漏洞。这种外部威胁情报有助于我们增强基础设施的安全性，抵御当代的攻击媒介。

2. 事件响应— OSINT 有助于在安全事件期间快速收集围绕可疑指标（例如可能涉及攻击的 IP 地址、域和文件哈希）的背景信息。这加快了事件调查和响应工作。

3. 攻击面映射——通过开源情报利用，我们揭示暴露的系统、开放端口、利用的技术、子域和其他面向外部的资产。此过程使我们能够绘制潜在的攻击面并减轻相关风险。

4. 基础设施映射——OSINT 工具提供了我们整个在线基础设施足迹的全面可视化，包括云提供商、域、网络和服务。这种资产的整体可见性极大地增强了安全措施。

5. 违规评估——在涉嫌泄露的情况下，开源情报技术通过搜索暗网市场和其他公共来源中出售的组织数据来协助评估影响。

最终，集成 OSINT 为我们的 SOC 提供了增强的上下文、可见性和洞察力，以准备、检测、响应针对组织的安全威胁并从中恢复。

在 SOC 中使用的 10 个 OSINT 工具

在我们的 SOC 中，我们将付费和免费的 OSINT 工具集成到我们的操作工作流程中，以收集、分析和直观地呈现安全情报。虽然每种工具都具有独特的优势和局限性，但总的来说，它们有助于在面对快速变化的威胁形势时进行持续监控、全面的可见性和明智的决策。我们的开源情报工具包的关键组成部分包括：

1.Recon-ng:

Recon-ng 是一个用 Python 编码的开源网络侦察框架，提供高可扩展性。我们对 Recon-ng 的利用涉及通过访问大量 API 和公共数据源来收集有关领域、公司、个人等的情报。

优点：

• 免费和开源性质

• 安装和使用简单

• 通过模块进行卓越的定制

• 广泛覆盖API和数据源

• 对于收集威胁情报很有价值

缺点：

• 仅通过命令行界面进行操作

• 一开始就陡峭的学习曲线

• 复杂的工作流程需要编写脚本

• 容易出现依赖性和兼容性问题

Recon-ng 甚至使初级分析师能够自动从互联网上的各种公共来源和 API 收集数据。其交互式解释器简化了模块配置和命令执行。该框架配备了许多内置功能，可满足常见的侦察任务，例如域解析、子域发现和 WHOIS 记录检索。

然而，Recon-ng 真正的多功能性在于它支持用户开发的自定义模块。分析师可以根据特定的数据采集要求定制模块，集成专有的数据源。此功能使 Recon-ng 能够用于特定目标，例如收集有关威胁参与者、受损凭证、易受攻击系统等的情报。它将结果输出到数据库，从而实现方便的过滤、分析和关联。

由于其适应性、可扩展性和自动化友好性，Recon-ng 成为我们日常安全侦察活动的基本工具。它有助于发现潜在威胁，并有助于改进我们运营中的决策流程。

2.Maltego

Maltego 是一种专门从事图形链接分析的专有调查工具，旨在收集和互连分散在互联网上的公开信息。在我们的运营中，我们利用 Maltego 的可视化功能进行即兴研究并深入研究威胁调查。

优点：

• 强大的视觉链接分析

• 与有价值的在线数据源集成

• 有用的案例管理功能

• 提供桌面版本和基于云的版本

缺点：

• 许可费用昂贵

• 云产品的使用限制

• 潜在的可扩展性限制

• 陡峭的学习曲线

Maltego 的运行方式是获取初始数据点（例如短语、名称、网站、域等），将它们转换为图形网络地图，以说明相关实体之间的连接和关联。这种图形表示简化了对复杂的现实世界相互关系的理解，提供了比仔细阅读数据表更直观的方法。

通过可视化界面，分析人员可以快速收集威胁情报。例如，从可疑的 IP 地址开始，分析人员可以浏览所有者、链接的主机、所使用的技术、地理相关性和相关漏洞，从而揭示隐藏的威胁。其案例管理工具促进协作事件调查工作。

Maltego 与其他安全工具无缝集成，确保流畅的操作工作流程。桌面客户端适合小型本地团队，而基于云的版本则适合全球分布的团队。

虽然定价结构可能会给小型团队带来可扩展性挑战，但 Maltego 独特的图形链接分析和用户友好的界面使其成为 SOC 的 OSINT 工具包的宝贵补充。它有助于主动寻找威胁并加快事件调查。

3.URL Scan

事实证明，URL 扫描是一种宝贵的、免费的在线服务，它通过审查和扫描网站是否存在潜在威胁，在我们的 SOC 中发挥着关键作用。该服务安全地呈现提交的页面并提取相关的安全见解。

优点：

• 免费在线服务

• 快速分析页面内容

• 与各种工具的集成能力

• 简单且用户友好的界面

• 提供有价值的网站取证数据

缺点：

• 定制选项有限

• 可能会忽略动态加载的内容

• 限制扫描历史记录

• 需要手动分析

URL 扫描通过接受网站 URL 并在安全的沙盒环境中呈现页面来发挥作用，使我们的分析师能够观察内容加载，而不会直接将我们的资产暴露于潜在威胁。

该服务提取有价值的元数据，包括设置 cookie、加载的资源、遵循的重定向、执行的脚本等等。此类见解可以让您了解网站在访问时尝试的操作。URL 扫描还通过分析服务指纹和常见模式来识别某些已知的威胁和漏洞。

URL 扫描可显着帮助对威胁搜寻活动期间遇到的可疑网站、域和页面进行快速初步侦察。分析师可以轻松共享包含附加上下文和取证快照的报告，从而促进与其他团队的协作。

尽管与其他产品相比，URL Scan 在自动化、定制和数据保留方面存在局限性，但 URL Scan 的可访问性、易用性以及提供有价值的网站安全见解使其成为我们以网络为中心的开源智能功能不可或缺的补充。

4.SpiderFoot

SpiderFoot 是一款开源情报自动化工具，集成了 200 多个模块，旨在整理来自不同公共数据源的情报。在我们的运营中，我们利用 SpiderFoot 对域名、网络块、电子邮件、名称等进行侦察。

优点：

• 免费和开源性质

• 高度自动化的数据收集过程

• 对于威胁追踪工作很有价值

• 与多样化且有用的数据源集成

• 云托管选项的可用性

缺点：

• 过时的用户界面

• 陡峭的学习曲线

• 复杂的数据流

• 可扩展性有限

SpiderFoot 通过利用 IP 地址、域名、电子邮件等初始输入进行操作，并自动查询大量公共数据源（例如搜索引擎、Pastebin、WHOIS 记录、卫星地图等）以绘制相关实体的地图。此过程以最少的人工干预揭示相关的基础设施、技术、文档、泄漏等。

分析师可以从涵盖威胁、网络和位置等的预构建模块和源中进行选择。结果存储在本地数据库中，以简化过滤和分析。基于网络的用户界面可以管理扫描和审查结果。对于较大的团队，SpiderFoot 提供具有共享访问权限的云托管选项。

尽管其过时的用户界面和复杂的工作流程（对初学者来说尤其具有挑战性），SpiderFoot 广泛的数据源、自动化功能和战术集成使其成为现代 SOC 外部情报收集武器库的多功能补充。事实证明，它对于威胁追踪计划和加快事件响应程序都是有益的。

5.FOCA

FOCA（组织指纹识别）是一种开源 OSINT 工具，旨在通过从公共文档和文件中提取元数据和隐藏信息来揭示组织的数字足迹。在我们的运营中，我们在调查过程中使用 FOCA 从 PDF 和 DOCX 等文档格式收集情报。

优点：

• 从文档中自动提取数据

• 处理多种文件类型

• 有利于调查目的

• 免费开源工具

缺点：

• 官方仅兼容 Windows

• 过时的命令行界面

• 有限的集成

• 信息呈现分散

FOCA 允许上传潜在敏感文档，例如在组织侦察期间获得的财务报告、演示文稿和电子表格。它系统地检索元数据、作者信息、哈希值、URL、电子邮件和文件中的其他嵌入数据。

此功能使分析师能够有效地从文档中提取情报，而无需费力的手动审查，从而揭示识别详细信息、关联实体、使用模式等。FOCA 具有递归扫描文档和网站的能力，构建可视化结构关系的“组织金字塔”。

收集到的信息显示在各个 Web 界面选项卡上，最大限度地减少了手动分析连接点的需要。尽管命令行界面 (CLI) 和用户界面 (UI) 都存在缺陷，但 FOCA 的文档数据自动提取功能为 SOC 的 OSINT 工具包提供了宝贵的支持。事实证明，它有利于内部威胁调查并补充事件数据收集。

6.theHarvester

theHarvester 是一款实用的开源情报工具，旨在从众多公共来源收集电子邮件、名称、子域、IP、URL 等。在我们的行动中，我们使用 Harvester 来自动化初步的外部侦察工作。

优点：

• 简单且用户友好的界面

• 一致且可靠的结果

• 兼容Linux和Windows平台

• 公共资源覆盖面广

缺点：

• 最初主要基于控制台的界面

• 需要对结果进行额外分析

• 数据源配置复杂

• 有限的定制选项

theHarvester 使分析人员能够指定域、公司或关键字，以便跨搜索引擎、DNS 记录、WHOIS 数据库、PGP 存储库、求职板和其他来源进行自动扫描，从而加快初始侦察任务的速度。这有助于检索链接的电子邮件地址、主机、员工姓名和初步情报。

在深入研究更专业的工具之前，此过程可以快速、广泛地概述实体的在线状态。所有收集到的信息都会编译成本地 HTML 报告，以便进一步细化和探索。

尽管 theHarvester 需要最初熟悉命令行界面使用并且缺乏本机可视化功能，但其易用性、可靠性和对公共资源的广泛访问使其成为许多 SOC OSINT 收集工作流程中至关重要的初始包含项。这种方法允许在通过 theHarvester 的自动初始扫描验证的情报线索上集中应用更高价值的定制工具。

7.Google Dorks

Google Dorks 能够在利用 Google 广泛的搜索功能的同时，对隐藏的见解进行细致的挖掘。这些由高级操作员创建的专门搜索可以揭示隐藏的组织情报。

优点：

• 利用免费的公共搜索平台

• 揭示宝贵的见解

• 对于初步侦察很有价值

• 数据源覆盖广泛

缺点：

• 受 Google 施加的使用限制

• 结果误报的风险

• 用户陡峭的学习曲线

• 需要人工验证以确保准确性

Google Dorks 通过巧妙的搜索语法和专门的设置创造性地利用 Google 庞大的索引数据。该技术使分析人员能够通过熟练使用 Dorks 来全面扫描表面网络，发现暴露的文档、凭证、敏感流程等。

例如，定制搜索可以通过登录门户、备份文件、服务器手册等的无意公开暴露来揭示易受攻击的系统。Dorked Google 搜索还可以通过暴露的员工凭证和缓存、代码存储库中的数据以及无意的上传来揭示内部威胁。

尽管单独看来无害，但将战略性 Google Dorking 的洞察融入人员、领域、位置和技术中可以发现隐藏的关系并增强威胁情报。然而，这需要在考虑使用限制的同时巧妙地设计搜索查询。

通过对全球索引数据的无与伦比的访问，Google Dorks 的战略使用成为许多 SOC OSINT 探索的基础，有助于主动检测隐藏的威胁并通过暴露研究加快事件调查。

8.Creepy

Creepy 是一种专门的开源情报工具，用于从图像和社交媒体配置文件中收集位置情报。它帮助分析人员直观地绘制对象的动作和活动。

优点：

• 专注于地理定位数据

• 收集目标的运动数据

• 与有用的来源集成

• 免费和开源

缺点：

• 不再积极开发

• 范围有限会降低实用性

• 需要人工验证以确保准确性

• 需谨慎遵守法律规定

Creepy 使分析师能够输入社交媒体资料或提要 URL，自动抓取所有嵌入的地理标记图像并将其映射到可视时间轴地图上。这可以可视化对象随时间的运动和事件。

分析师可以辨别与个人或工作地点相关的模式，建立生活方式，跟踪关系，并识别需要更密切调查的差异。地理围栏功能可以对进入感兴趣区域的活动发出警报。

然而，法律方面的考虑需要谨慎——尽管分析表面上的公开帖子，但知情同意仍然至关重要，特别是在特定的隐私制度下。过时的库也会影响当前的可靠性。

尽管如此，经过谨慎运用，Creepy 将分散的公共位置数据整合到个人运动情报中的独特能力被证明是对 SOC 的 OSINT 工具包的宝贵补充。它支持内部威胁监控并将外部事件情境化。

9.开源情报框架

OSINT 框架作为关键的公共资源，充当 OSINT 工具和来源的集中目录，并按数据类型方便地组织。我们的 SOC 贡献者不断探索和评估新功能，以增强我们的能力。

优点：

• OSINT 资源的中央枢纽

• 按数据源分类的工具

• 不断更新新资源

• 加速研究和发现

缺点：

• 潜在的信息过载

• 各个工具的质量参差不齐

• 需要人工验证

• 对外部链接的依赖

OSINT 框架涵盖了超过 450 个 OSINT 工具，涵盖网络、电子邮件、用户名、文档、图像和位置等各个类别。这显着加快了与分析需求相一致的功能的发现。

框架管理有助于评估工具的覆盖范围、功能和差距，提出潜在的替代方案或需要定制内部解决方案的领域。竞争分析可确保在不断发展的供应商环境中获得最佳工具。

该参考架构为 SOC 团队提供了一个模板，可通过选择和组合组件来构建定制的 OSINT 管道。然而，由于添加的开放性，在集成之前对工具功能进行彻底检查至关重要。

通过促进公共平台上的结构化知识共享，开源情报框架等资源为开源情报方法的进步做出了重大贡献。

10.TweetDeck

TweetDeck 用作可定制的社交媒体仪表板，允许来自 Twitter、Facebook 和 Instagram 等平台的实时流管理。我们的 SOC 利用 TweetDeck 来监控相关威胁、活动和事件。

优点：

• 专业实时监控

• 跨平台聚合内容

• 方便的集成和过滤器

• 对于战术威胁情报很有价值

缺点：

• 仅限社交媒体来源

• 需要手动管理

• 准确性需要验证

• 隐私考虑

TweetDeck 能够在社交网络上创建定制的提要和警报，为分析师提供有关威胁参与者、漏洞讨论、漏洞提及、品牌威胁和泄漏的见解 - 所有这些都整合在一个屏幕中。

关键字警报、地理标签和用户过滤器有助于将重要信息与背景噪音分开。收集到的情报与事件响应团队共享，有助于减轻帐户接管和早期利用警报等威胁。

然而，由于潜在的泄密、错误信息和冒充风险，分析师需要谨慎验证用户帖子的可信度。谨慎是至关重要的，因为看似公开的帖子可能仍然需要隐私。

尽管如此，TweetDeck 在整合全球实时社交媒体话语方面的专业知识提供了对新兴外部威胁的快速、便捷的概述 - 为 SOC 提供主动威胁可见性并加快上下文响应。

还有谁可以使用这些开源情报工具？

虽然我们的重点是安全运营中心 (SOC) 范围内的 OSINT 工具，但这些技术和工具在各个职能领域都有不同的应用。渗透测试人员和错误赏金猎人使用它们来收集有关组织的公共情报，帮助根据暴露的技术和漏洞确定测试的优先级。网络威胁分析师研究最新的黑客技术、活动和易受攻击的软件版本，以增强威胁检测。事件响应人员迅速根据 IP 地址或文件哈希等指标来确定安全漏洞的程度。安全研究人员监控黑客论坛和代码转储以了解对手的策略。调查人员和记者合乎道德地拼凑公共信息，以发现有关调查主题的细节。业务分析师监控竞争对手的技术转变和产品路线图，并相应地向内部利益相关者提供建议。地缘政治分析师利用外语资源更好地理解影响全球利益和事件的本地观点。

您无需处于安全环境中即可使用这些工具，因为它们是开源的并且任何人都可以访问。OSINT 工具在不同行业和角色中具有多种应用。网络安全专业人员使用这些工具来识别威胁和漏洞。执法机构利用它们进行调查和监测活动。记者和研究人员依靠 OSINT 工具来揭露故事和收集信息。情报机构利用这些工具来实现国家安全目的和监测国际事态发展。在企业部门，情报和风险分析师使用 OSINT 进行竞争情报和尽职调查。人权组织和非政府组织利用这些资源进行记录和危机监测。私家侦探使用 OSINT 进行背景调查和证据收集。活动人士出于各种原因利用这些工具，而 IT 和网络管理员则使用它们来提高网络安全威胁意识。

每个组织都将 OSINT 工具用于不同的目的，从安全评估和调查到研究、新闻和教育活动。使用这些工具时应考虑道德和法律准则。

结论

开源情报 (OSINT) 涉及对各种来源的公开信息进行道德和合法的收集和分析。这些数据包含有关威胁、对手、漏洞、技术、运动、动机等的详细信息。

OSINT 技术的集成对于安全团队来说变得越来越重要，它提供了内部安全工具之外的外部背景和情报。这种集成通过提高可见性、帮助预测、检测、响应和恢复整个网络杀伤链中的当代安全威胁，显着增强了安全运营中心 (SOC)。

我们讨论了 SOC 通过 OSINT 寻求的技术情报类型，例如对对手活动、易受攻击的基础设施、受损凭证和违规指标的洞察。此外，我们强调了收集和保护汇总数据的关键道德考虑因素。

在当今动态的数字环境中，组织不能仅仅依赖内部威胁可见性。公开数据提供了关键线索。随着恶意行为者利用 OSINT 来瞄准受害者，安全团队必须进行创新，以有效利用开放数据。

我们概述了 SOC 中使用的流行 OSINT 工具（免费和付费），展示了它们的优势、功能和局限性。虽然每种工具都有独特的优势，但结合 OSINT 技术可以选择性地增强以风险为中心的响应能力。确保道德和合法的使用仍然是当务之急。

表层、深层和暗网数据的融合形成了全面的情报镶嵌图。全面的开源情报视角几乎没有隐藏威胁的地方，从而最大限度地减少盲点。此外，受控的开源情报使用有助于收集重要的公共数据情报，让传统上谨慎的领导层相信安全投资的重要性。