混合云环境的虚拟流量采集方案应如何选？

IBM商业价值研究院(IBV)预测，到2021年底，98%的组织将会采用多云架构，广义的混合云包含了多厂商公有云、私有云及本地数据中心之间的混合。

混合云架构将是企业

未来5~10年内最常见的架构形态

混合云把企业私有云、公有云和本地数据中心有机结合起来，给企业提供了更丰富的云服务、更弹性的云资源、更合理的云成本等。企业可以根据业务实际需求，灵活地选择将业务部署在云上或云下，公有云或私有云，乃至部署在哪一朵云上。

与此同时，却为IT管理带来了巨大挑战。

一项调查「监控在公有云、私有云以及本地数据中心时所面临的挑战」显示，86％的受访者表示数据包可见度对于网络和应用程序性能监控很重要，但只有不到20%的受访者称，他们可以完全、及时地访问公有云中的数据包。而在私有云中，情况会好一些。55%的人拥有足够的访问权限，然而这个数据在本地数据中心则高达82%。

（图片来源：《Less than 20% of IT pros havecomplete access to critical data in public clouds》）

很显然，公有云和混合云监控的成熟度远远落后于传统数据中心，且造成偏差的主要原因在于数据包的可见性。

为什么要实现流量的统一采集？

混合架构的全流量采集，是实现全业务路径性能监控的前提和基础，这是第一步。基于原始的数据流量，经过处理与应用，才能在性能分析、根因定位、故障排查等场景下释放数据价值。但前提是，我们需要保证数据源的全面、精准和可靠。

与传统物理环境不同，目前混合云环境的流量采集方式主要有三种：

第一种，在业务虚拟机内部署微探针采集业务流量。这是最直接的采集方式，多用于公有云的流量采集；
第二种，通过虚拟交换机，经过OVS SDN引流的方式，将业务流量从SDN引出，主要应用于OpenStack环境的流量采集；
第三种，在宿主机或容器节点中创建独立的虚拟机或容器部署旁路探针，减少对宿主机内部业务的影响，同时采集和转发宿主机或容器节点内的所有流量，多用于vmware和Kubernetes环境。

（混合云环境三种流量采集方式）

那么，应当如何选择流量采集方式呢？在解答这个问题前，我们需要先看看，混合云架构中，企业在选择和进行流量采集时会遇到哪些问题。

混合云环境流量采集的现状和痛点

云上虚拟流量的采集存在盲区

传统环境下，所有应用的网络流量都要经过物理层网络设施，我们可以通过在交换端口设置端口镜像或TAP转发来实现旁路数据流量采集。

但是在云环境中，网络端口也随之虚拟化，物理节点不能覆盖业务数据流经的关键路径。要实现全流量的采集，就需要具备VPC、宿主机容器、POD、OVS等节点不同层级的采集能力。

采集工具繁杂，数据源不统一

混合云架构中，企业对计算资源实行统一的池化管理。但在数据采集层面，往往缺少规划。VMware、裸金属、容器、云平台等异构资源采集工具各自为阵，企业因为资源池数量、种类的变化被动式地增加竖井式采集系统，会导致流量重复采集、数据源不统一、采集工具难以适应资源池动态变化等问题。

传统工具难适应云上复杂环境

相对于传统物理环境，云环境中的主机、容器会被动态创建、销毁、迁移以及弹性扩缩。如果是固定配置化的监控，在动态迁移后，流量采集因此中断不能持续，而这种动态的变更载运环境中又是随机性和常态化的。此外，云环境中数据流量的高并发、多租户、海量数据等特性，无疑对采集系统的性能提出了更高的要求。

万级采集节点部署影响业务性能

我们都知道，在传统架构中，一个服务通常由固定的数台或数十台服务器组成；而在微服务架构中，一个服务可能由上百个容器组成，服务节点的数量由百级上升为万级。过多的采集节点必然会造成对原本业务资源的侵占和消耗。此外，采集节点的部署是否产生业务系统不兼容等情况，进而影响自身业务系统的正常运行，也是我们不得不考虑的重要问题。

缺少规划，采而不用

流量采集器自身没有任何价值，只有通过完整的数据汇聚与转发功能，才可以实现业务与网络运维管理，同时经第三方接口为业务运营提供应用场景，产生业务实效。很多企业因缺乏规划，片面追求流量采集的全面性，盲目增加采集节点。在造成资源浪费的同时，也难以落地。

如何在大规模虚拟混合环境中部署全流量覆盖、无业务入侵、资源消耗低、采集性能高、同时无缝对接运维应用平台的采集系统？这是混合云环境流量采集方案选择时需要考虑的关键问题。

混合云环境流量采集方案如何选？

跨越混合环境的统一的采集方案

构建统一高效、无盲区的全流量采集系统，采集工具的选择必须跨越私有云、公有云、容器以及传统环境等多种混合架构，提供一致的采集数据源和转发存储方案。

（云上云下一体化解决方案）

适应云环境的灵活动态+高性能采集方案

在云环境中，采集工具需要有自动感知节点变化的能力，并随之自动更新或部署，保证采集工作不中断，适应云上弹性伸缩的能力。

除了不稳定性，采集工具还要适应云上大规模、高并发的流量机制，基于高性能的流量捕获技术和自动化的接收和流量转发技术，实现了TB 级全流量的高效采集。

安全可靠的零侵入采集方案

云上安全不容忽视，采集器的好坏应当是以不影响生产业务运行为前提的。

我们可以通过在KVM宿主机、vmware主机和Kubernetes节点上部署单个采集节点的方式减少采集器的整体数量，减少采集器的资源开销和管理复杂度；

通过虚拟机平台、云平台或Kubernetes平台的API获取业务虚机或POD的资源信息，并同步至采集器管理平台，采集器管理平台通过同步的资源信息判断虚拟机或POD的实例是否发生扩缩，从而生成新的采集配置，通过控制器下发至采集器，采集器根据采集配置的变化动态调整采集策略，通过先进的旁路流量采集技术，实现对动态扩缩的无感式流量采集。

通过采集器管理平台的自监控能力，实时了解采集器的资源消耗状态并及时调整优化资源配置和采集配置。

规划从流量采集到业务价值输出的整体解决方案

当流量采集工具和流量分析工具，性能管理工具各自为阵时，企业往往难以梳理出完整的业务流量访问路径，实现端到端的性能可视化管理。因此，在做流量采集规划时，更多地应当规好后续的存储和转发、解码分析、运维保障等完整性方案；在选择解决方案厂商时，应当评估其在业务运行监控、故障诊断、交易分析、业务价值输出等方面的技术能力和经验，这才是全流量采集的意义与价值所在。

天旦已先后为联通支付（华为云）、台州银行（EasyStack）、恒丰银行（基于OpenStack开源版本自建）等客户的业务上云提供全过程技术支持和运维保障。目前，已有超过2000个云上业务节点在天旦产品的监控保障之中。

声明：本文为原创，如因恶意竞争进行恶意投诉，我们将追究其法律责任。

扫描上方二维码，免费领取《天旦云性能监控白皮书》