开源！解密百度云 IoT物联网平台 MQTT 中间件 BifroMQ 技术架构

在当今的物联网领域，MQTT 协议已经成为不可或缺的关键要素，为高效、实时的数据传递提供了核心技术支持。然而，目前市场上提供 MQTT 能力的项目主要集中在传统的、现有的"开箱即用"物联网设备管理平台上，导致更底层的 MQTT 协议实现缺乏足够的关注和探索。

我们深信 MQTT 协议的特性有着更广泛的应用前景，不仅仅局限于物联网领域。正是出于这一信念，经过多年的实践和技术积累我们推出了开源项目 BifroMQ，专注于 MQTT 协议的高效处理，尤其是在面对大规模负载时的卓越表现。

BifroMQ 的架构设计基于"第一性原理"，从技术角度分析实现设计目标所需的技术以及如何将这些技术"有机"地组合起来，以达到整体优化的效果。因此，仅从项目结构和代码逻辑很难全面地理解其内涵。下面将从三个主要角度对 BifroMQ 的整体架构进行高层次的描述。

首先，抛开 MQTT 协议本身的实现逻辑，BifroMQ 的各个功能服务模块构建在一套去中心化的底层集群构建能力（base-cluster）之上，如下图所示：

BifroMQ 去中心化集群的模块化架构

base-cluster 构建的集群逻辑上分为两层：Underlay Cluster 和 Overlay Cluster。Underlay Cluster 被称为"Host" Cluster，每个 Host 在 BifroMQ 中对应着运行在操作系统上的一个服务进程（Process）。Host Cluster 采用 Gossip 类的协议（SWIM Protocol）实现了 Host 成员服务（Membership），并为 Overlay Cluster 提供了 Host 地址的抽象。Overlay Cluster 被称为"Agent" Cluster，它在 Host 地址的基础上提供了 Agent 级别的地址抽象（Agent Address）。在 BifroMQ 中，Agent 对应着实现具体功能的逻辑服务（Service）。这些逻辑服务（通过 base-rpc 框架统一实现）包括了客户端和服务端两种角色的模块，利用 Agent Cluster 的能力来实现服务的注册和发现。

这种架构带来的好处包括：

• 逻辑服务与服务所在进程解耦，使得根据部署场景可以更加灵活地封装和组合。

• 逻辑服务的"服务发现"不依赖传统意义上的注册中心或名字服务，从而消除了单点故障的运维风险，使得集群规模能够自由伸缩。

接下来，我们从协议实现的角度描述 BifroMQ 的结构。在从构建 Serverless 云服务的角度出发进行架构设计时，需要从负载隔离和管理的角度考虑功能实现的合理性，也就是负载的多租户化。我们将 MQTT 协议的工作负载进行了拆分，使得每种负载都能以独立子集群的形式存在，而这些子集群通过协作构建了完整的 MQTT 能力。下面是 BifroMQ 中 MQTT 负载相关的模块：

这些模块之间的协作关系如下图所示：

BifroMQ 各模块协作关系1

BifroMQ 各模块协作关系2

值得一提的是，bifromq-dist、bifromq-inbox 和 bifromq-retain 模块都充分利用了 base-kv 的能力，实现了对关键负载的分布式强一致性持久化。在 Serverless 云服务的运维场景中，这点对保证 SLA 尤为重要。

前文提到，BifroMQ 的定位是实现 MQTT 标准的中间件，更加强调中立性和被集成性。与其他包含 MQTT 能力的"一揽子物联网平台"项目并不处于同一层上。因此，判断"BifroMQ 是否具备某种功能或未来是否会支持某种功能？"的标准非常简单：凡是 MQTT 协议定义的能力都属于 bifromq 项目需要支持的范畴，而一切超出 MQTT 协议定义的功能，我们更倾向于以独立组件或服务的方式存在，并通过符合 MQTT 标准的方式与 BifroMQ 集成。这种方法有助于构建更大规模的云服务并促进相关技术的成熟。当然，BifroMQ 的被集成性还体现在作为中间件本身与各种业务系统的集成上，主要包括三种机制：Plugin、API 和 Metrics：

典型场景集成架构

BifroMQ 支持单机模式（Standalone）、标准集群（Standard Cluster ）、独立工作负载集群（Independent Workload Cluster）三种部署模式，并允许通过插件进行定制，以满足不同业务需求。

BifroMQ 经过严格的性能测试，展现出了强大的处理能力和低时延。在一个标准的测试环境中，处理大量并发消息发布时，BifroMQ 保持了极低的消息时延及较低的 CPU 使用率。

BifroMQ 可以广泛应用于各种物联网场景，包括但不限于智能家居、工业物联网、车联网和智能城市等多种领域。它能够为这些应用提供可靠、高性能的消息传输服务，支撑大规模设备连接和消息处理。

在智能家居领域，通过 BifroMQ，可以接入数千万家居设备，并可以实现远程控制、状态同步和数据上报等功能；在工业物联网领域，它可以支持大量传感器和设备进行实时数据收集和处理；对于车联网，BifroMQ 可以处理车辆之间以及车辆与基础设施之间的通信；在智慧城市应用中，它能够协助管理和优化城市资源，如交通、能源和安全等。

BifroMQ 将继续完善对 MQTT 5 的支持，加强性能优化，丰富功能，并不断拓展在物联网领域的应用。同时，我们将继续秉持技术中立理念，进一步强化 BifroMQ 的「被集成」能力，使其能够更加轻松地与各种系统和应用协同工作。此外，BifroMQ 未来将会与更多的开源项目和标准化组织合作，共同推动物联网技术的发展，为全球物联网产业的升级迭代贡献力量。