前言
克拉克第三定律
想象一下,你在地球上的任意一个地方,无论是荒芜的纳米布沙漠、寒冷的瓦特纳冰川,还是凶险的德雷克海峡,又或者是神秘的加拉帕戈斯群岛,只需要一台笔记本,以及一部 Starlink 终端,你就能 7x24 小时不分昼夜地对地球上每一平方米进行实时监视。
无论是亚丁湾疾驰的航母舰队、嘉手纳基地正在起飞的 F22、加沙边界刚刚集结的梅卡瓦主战坦克,还是加州南部的森林野火、非洲之角的蝗虫肆掠、那不勒斯的火山喷发。只要你愿意,你可以随时看见世界上正在发生的任何事情,也可以随时对这颗行星的每一个角落发起 AI 侦察,有任何你感兴趣的实体出现都能在一秒钟内进行预警。
这不是科幻小说,也不是虚构情节,这正是美国著名 Defense Tech 公司 Palantir 的下一代行星级时敏情报系统元星座「MetaConstellation」。正是这魔法般的先进科技,让俄乌战场上的乌克兰部队能够无视「战争迷雾」,完全在另一个高维空间开启上帝视野监视着俄罗斯部队的一举一动。
时间来到 2022 年 12 月,乌克兰首都基辅,两名乌克兰军官正在给来访的华盛顿邮报的记者展示元星座系统。屏幕上是乌克兰东部区域巴赫穆特战场的实时数字地图,上面显示着众多目标情报——其中大部分来自商业卫星。
拉近地图视野,可以清楚看到巴赫穆特前线的锯齿状战壕,点击鼠标即可显示当前俄罗斯和乌克兰炮火的红外图像等等。如果这是一个正在运行的作战指挥中心,而不是为来访的记者进行演示,乌克兰军官还可以使用瞄准程序选择导弹、火炮或武装无人机来攻击屏幕上显示的俄罗斯阵地。攻击结束后搭载 AI 算法的无人机能够自动确认袭击效果,并将毁伤评估结果反馈到系统中。
这是一场人类历史上从未有过的「魔法战争」,一场很少有详细报道的算法全面参与的战争,乌克兰部队将最先进的基于AI的情报指挥系统与战争本身融为了一体。如果将这场战争比做是托尔金小说《魔戒》中的中土之战的话,元星座系统无疑是小说中的真知水晶球「Palantír」(注:这也正是 Palantir 公司的名字的起源),一个可以用来跨越空间和时间进行洞察的魔法神器。
这套行星级时敏情报系统真正具有革命性的地方在于它聚合了大量来自商业卫星的数据,乌克兰士兵可以查看任意战场当前可用的卫星。数据范围之令人震撼,从传统的光学卫星「EO、MSI」,到可以穿透云层的 SAR 卫星「合成孔径雷达」,再到可以探测火炮或导弹火力的红外卫星「IR」,再到可感知各种不可见无线电数据的射频卫星「RF」等。
截止 2024 年 1 月,元星座系统共计接入了 438 颗商业卫星,包括 BlackSky、ICEYE、Maxar、CapellaSpace、PlanetLab、HawkEye360、Statellogic 等,最小分辨率可达 1 米以下。如果需要,士兵可以任意调用这些卫星星座。在刚才的示例中,元星座系统预估大约 40 颗商业卫星将在 24 小时内经过目标地区。而调用这些数据,仅仅只需要连接互联网即可。
该系统中最后一个重要的环节是由近地轨道上 5000 颗卫星组成的星链阵列所提供的天基互联网。得益于 Starlink,在地基指挥网络几乎全面瘫痪的情况下,乌克兰依旧可以随时随地上传或下载目标情报快速完成作战任务。
2023年1月,Palantir 打包了元星座系统、Starlink 终端、军用加固笔记本、单兵侦察无人机等,组成 Skykit 战术边缘智能情报套件。Skykit 既能使用元星座的 IMINT「图像情报」和 SIGINT「信号情报」,下载到战术边缘侧来加速 OODA 环,也可与本地采集的ELINT「电子情报」、UAV FMV「无人机全动态视频」情报等相结合。目前,该套情报套件已在乌克兰大范围使用。
Palantir 首席执行官亚历克斯·卡普「Alex Karp」在一封邮件中写道「先进算法战争系统的力量是如此之强大,相当于用战术核武器来对付只有常规武器的对手。」
在这场「魔法战争」中,乌克兰占据了上风。「俄罗斯军队并不灵活」乌克兰军官莱西亚告诉华盛顿邮报记者。她自豪地指出,每个乌克兰的营级单位都配有自己的软件开发人员。乌克兰的核心优势不仅在于军队的战斗意志,还在于其软件开发的技术实力。这是人类历史上第一次真正意义上的「软件定义战争」,也是第一次真正意义上的「算法参与的战争」。
下文将从整体概述、功能介绍、系统架构、应用场景、未来发展几个维度深度剖析元星座系统
一、整体概述
元星座系统「MetaConstellation」是 Palantir 于 2021 年 9 月发布的下一代情报产品,其定位为利用卫星星座的能力为决策者提供行星级的时敏感情报「SIGINT 和 IMINT」用于决策支持。
元星座系统具有如下五个特点,在轨计算「Deploy AI to Orbit」、卫星筹划「Optimize Orbital Sensors」、智能驱动「Leverage AI Models」、任务追踪「Task and Track」、缩短时间「Reduce Time to Insight」。
特点一、在轨计算「Deploy AI to Orbit」
元星座能够将先进的 AI 模型部署到卫星进行在轨计算「DeployAItoOrbit」,同时能够与现有其他在轨卫星进行无缝集成。当前元星座当前已接入了数百颗卫星、地面站以及AI模型,允许用户进行行星级的时敏调查。
特点二、卫星筹划「Optimize Orbital Sensors」
当收到用户任务请求时,元星座会动态确定当前哪些卫星资源可用,对这些星座资源进行运筹优化,以对目标区域进行覆盖。用户只需专注于调查本身,无需关注底层原始的传感器数据处理以及复杂的卫星调度过程。
特点三、智能驱动「Leverage AI Models」
通过 EdgeAI 引擎,元星座能够向卫星上注AI微模型「Micro Models」,用户可在感兴趣的区域识别任何感兴趣的物体,并且能够根据任务需要快速重新配置在轨卫星。用户可以使用任何定制化算法,利用 CI/CD AI Model Pipelines来快速集成算法,直接在卫星边缘侧进行洞察。
特点四、任务追踪「Task and Track」
随着任务的态势发展,通过任务分配和跟踪,元星座可以扩大目标的搜索和跟踪范围,并触发更集中或更频繁的成像,实时根据反馈结果重新训练或部署模型。
特点五、缩短时间「Reduce Time to Insight」
模型处理图像、检测并定位目标坐标,秒级即可返回结果。同时,目标区上次采集图像以来有任何变化,也能即时通知用户,从而实现快速决策。元星座利用 Palantir 的 EdgeAI 技术,在传感器近源端部署算法—卫星星载或者是就近的地面站上。近源部署算法最大的优势是,只需要检测少量的传感器数据,能以更快速度返回结果并发送给用户。
截止目前,元星座系统接入了 438 余颗在轨商业卫星,覆盖了 EO、MSI、ISAR、RF 等各类星载传感器。其中 BlackSky 16 颗、PlanetLab 200 颗、Maxar 90颗、Statellogic 30 颗、ICEYE 31 颗、HawkEye360 21 颗、Capella Space 11 颗等。同时,与 Satellogic 合作的部分星座,带边缘计算 GPU,支持 AI 模型的在轨计算。
二、功能介绍
元星座系统默认首页如下。其中,中间区域为三维地球可视计算区域,能够实时呈现卫星星座、地面站的实时态势,拖动底部时间组件可以查询过去或者未来一段时间星座的动向。左侧控制面板分别为计算任务、兴趣区域以及事件告警,右侧为卫星的实体画像区域,包含卫星基本信息、轨道高度变化情况、未来一段时间要进行侦察的区域等。
「New Request」为发起新的请求,需要配置地区「Region」、兴趣区域「NAI Named Area of Interest」、要检测的目标「如飞机、舰船等」、星载传感器以及检测频率、检测时间范围等。
系统会自动计算出下一时间窗口的卫星队列,选择好卫星,从算法库中选择对应的算法。
卫星在路过最近的地面站时,开始模型上注。
卫星路过兴趣区域「NAI」时,会激活用户选择的模型开始检测,检测到目标后,通过最近的地面站下发模型检测结果以及图像,再形成情报告警通知分发给用户。
至此,一次典型的通过元星座发起的监控请求完成。元星座的出现,让战术最末端的单兵能直接发起情报需求,系统屏蔽掉复杂的星座、地面站、AI 模型之间的筹划过程,让用户以最快捷的方式获取情报产品,颠覆了过去情报分发过程的长程繁琐链路,极大提升了对时敏目标的侦察效率。
三、系统架构
总体架构
元星座系统整体架构分为三层,分别是卫星星座层、底层引擎层和上层系统层。底层引擎层,包括了 Plantir 的两套核心引擎,EdgeAI 和 Apollo。EdgeAI 是 Palantir 的边缘侧人工智能编排和传感器融合引擎。EdgeAI 支持实时接入传感器数据、无线电数据、地理配准和时间序列数据等,并支持在边缘侧实时推理,同时支持低带宽低功耗的极端环境。Apollo 则是 Palantir 的底层持续交付引擎,支持各类极端严苛环境灵活部署,自主编排和中央管理等。此外,底层引擎层还包括来自 Pilot.ai、Xailient、MindFoundry 三家算法供应商的 AI 模型。
上层系统层,包括部署在云端的元星座后端 Server,前端访问的硬件Skykit边缘智能情报套件,以及 Starlink 接收终端。
在应用场景上,元星座系统当前已应用在国防安全、应急救援、基础设施、环境监测等行业和应用领域。客户包括北方司令部USNORTHCOM「US Northern Command」、北美航空航天防御司令部 NORAD「North American Aerospace Defense Command」、国家太空防御中心「National Space Defense Center」、联合太空作战中心「Combined Space Operations Center」、可再生能源「REP」生产商 Sonnedix、南加州爱迪生公司「Southern California Edison」。还有一些未正式披露的如美国陆军「US Army」、乌克兰各个部队等。
星座架构
元星座系统第一颗支持在轨计算的卫星为 Palantir 同地球观测卫星公司 Satellogic 于 2022 年 4 月 1 日合作发射的第五代 NewSat 智能星座 Mark V,发射任务隶属于SpaceX Transporter 4 任务的一部分。
Satellogic 总部位于阿根廷,由 Emiliano Kargieman 和 Gerardo Richarte 于 2010 年创立。2016 年 5 月开始建设发射自己的独立运营星座 NewSat,2022 年 1 月,Satellogic 在纳斯达克完成特殊目的收购公司(SPAC)合并实现上市。
有意思的是,腾讯曾在 2017 年领投了 Satellogic 的 B 轮 2700 万美元的融资,但很快就完成了退出。同时,Satellogic 的早期卫星,也多次选择拼车我国长征六号、长征 2D 等火箭。
NewSat 智能星座 Mark V 重 45.4kg,尺寸 508mm*575mm*813mm,设计在轨寿命约3-4 年,上行数据链 100kps、下行数据链 106Mbps。Mark V 搭载了 70cm 分辨率的多光谱相机和 29 波段 25 米分辨率的高光谱相机,比上一代显著提高了图像的信噪比和动态范围,测绘范围也增加了 40%。同时,搭载了大小 2U 的 Payload 实验舱,设计载重 1.1kg 功率 20W。
Mark V 上的星载计算机由澳大利亚公司 Spiral Blue 提供。Spiral Blue 成立于 2018 年,致力于开发机载卫星运行的机器学习算法、太空边缘计算硬件和应用管理软件。
SpiralBlue 的 Space Edge 1 计算机采用了 NVIDIA Jetson Xavier NX 模块,21 TOPS 算力,8GB 内存,存储 256G - 2TB,能够最大限度地提高在轨处理能力的同时保持功耗可控。同时,Space Edge 1 带有聚合物屏蔽「Polymer Shielding」,用以预防高能粒子的单事件效应「Single Event Effects」。
Edge AI 引擎架构
Edge AI 是 Palantir 的人工智能编排和传感器融合引擎,可在边缘侧进行自主决策。Edge AI 专为时敏场景而设计,支持在低带宽、低功耗(Low-SWaP)甚至是离网的战术边缘设备等各类极端环境下运行AI算法,包括无人机、飞机、舰船、机器人、卫星等。
Edge AI 提供端到端的生命周期开放式模型管理基础设施,为AI模型提供版本控制、分支、血缘、编排、测试、发布和部署等能力,能够让模型开发者无需关注底层,只用专注于模型和业务本身。
通过微模型「Micro Models」技术,Edge AI 能够让算法链「Chain Algorithms」与装备、环境解耦开,无论是在太空、陆地或者水下,无论是本地化算法、开源算法或第三方算法。微模型与环境无关,能够独立运行或使用上游模型的输出。微模型之间可以动态编排调度(并联或串联),形成 AI pipeline 的逻辑流程。同时,模型支持实时热插拔,无需中断传感器数据流。这也意味着,如果某个模型任务中断,不会影响依赖该传感器的其他下游任务。
Edge AI 提供了一个配置界面,允许用户在实时传感器上可视化配置各类复杂的AIPipeline流程。该接口可以处理各种各样的用例,支持将各类组件拖拽形成任务流,包括数据标准化、地理信息配准、选择模型、编排模型、形成输出结果等。
Edge AI 引擎支持从传感器接入各类数据,包括视频、图像、雷达、声学、无线电等数据类型。数据先通过一系列标准化处理「Stabilization & Calibration」,包括数据质量检测、数据清洗等,为 AI 模型提供可使用的数据资产。标准化处理过后,一方面输出给微模型进行检测,一方面输出给地理信息配准模块「GEO-REG」,该模块用于将检测结果与实际的物理空间地理坐标进行配准。微模型完成推理后,形成融合后的结果「Ensemble」,如果是需要跟踪的场景(如无人机实时检测目标),再传递给跟踪器「Tracker」。
在无网络约束的情况下,Edge AI 支持向中心侧传输所有原始输入数据、结果数据、元数据。在网络受限的环境下,Edge AI也支持仅传输元数据流到中心侧(如检测结果、位置经纬度、高程等)。
Edge AI引擎采用模块化开放系统架构设计「Modular Open Systems Architecture」,支持各类型数据的接入,如 RTSP/RTP、NITF、GeoTIFF、MPEG-TS 等,支持各类开放标准格式的输出,如 Parquet、CoT、MISB0601/0903KLV、MPEG-TS、GeoJSON等。
算法架构
整体上,元星座系统星上算法流程分为三个阶段,前处理「Pre-Processing」、算法处理「Processing」和后处理「Post-Processing」。在前处理阶段,多光谱相机的4波段单通道的Raw原始图像数据会先经过一个自定义图像配准服务「Custom Image Registration Service」,处理为 3 通道的 RGB 图像,丢弃 NIR 数据,能够大大提升下游模型的处理效率。配准过程完成后,会将 RGB 图像来传递给下游模型。
Palantir Overcast:高性能的云量检测器;
Mind Foundry:超低功耗的分割模型,可识别森林和海洋等地形类型;
Palantir Omni:多分类模型,能够识别飞机、舰船、地面目标以及建筑物;
Xailient Detectum™:快速、轻量化的船舶检测器;
Pilot.ai:用于检测飞机和船舶的高性能、轻量级模型。
数据会先到 Palantir Overcast 模型,然后传递给 Mind Foundry 的分割模型,分割模型可以忽略 Overcast 识别的云,从而提高分割精度。Overcast 分割后的结果再传入Omni、Xailient Detectum™ 和 Pilot.ai,下游的检测器可利用 Omni 的分割结果来消除误报提高召回率。
通过搭载多种不同的 AI 模型,元星座能够根据任务要求和地形在模型之间进行热插拔。例如,当卫星经过港口时,我们可以运行云检测器、图像分割和船舶检测器模型,当卫星经过城镇时,我们可以切换到车辆和建筑物检测器。EdgeAI 通过对模型的编排,能显著提升单个检测模型的性能。
模型完成星载推理后进入后处理阶段。模型下游会先运行投影服务「Projections」。该服务将接收卫星遥测信息并将推理结果从像素坐标转换为大地坐标。Projections 与全球高程数据「DEM」集成,以确保在高程变化较大的区域捕获图像时进行准确的投影。遥测数据中考虑了地球模型的几何简化,然后在执行投影时对其进行纠正。同时,该服务还可以纠正卫星遥测传感器随时间的偏差。
投影完成后会进行图像缩略「Thumbnails」处理,对于每个推理结果生成轻量级的 PNG 缩略图,其尺寸明显小于完整图像,并且下载速度比完整图像更快。例如,在大面积的海面图像中,可以仅传输模型识别的船舶结果,从而大大降低的网络吞吐量。图像缩略完成后,开始下行传输。
Apollo 系统架构
Apollo 是 Palantir 的持续交付/持续部署平台,用于在各类环境中管理和部署软件,旨在简化和自动化软件持续部署过程。Apollo 提供了一个单一的界面来监控部署健康状况、协调新特性的交付、定制平台配置以及快速响应和修复问题。Apollo 平台的核心组件包括:
Apollo Hub:
中心环境,维护每个部署环境的状态和独特需求,并为 Apollo Deployment Platform 提出计划。
主 Apollo Hub 是一个 SaaS 中心,管理所有连接的环境。
远程 Apollo Hubs 设计用于在远程或隔离网络中使用,通过 Apollo bundle 与主 Hub 保持同步。
Apollo Deployment Platform:
在每个管理环境中与托管软件并行运行,位于 Kubernetes 之上(也支持无容器环境)。
主要功能是部署和管理您希望管理的环境中的软件,并与 Apollo Hub 通信以报告当前状态并接收执行工作计划。
Apollo SDK:
定义了一个标准框架来传达关于您希望管理的每个软件组件的元数据,无需代码更改。
Apollo Catalog:
元数据层,连接您的 artifact 存储中的软件包和您的管理环境。
作为所有可用软件包的真相来源,知道何时有新版本/补丁可用以及在哪里可以找到它们。
Apollo Orchestration Engine:
位于主 Apollo Hub 中,允许自主编排和集中管理跨异构环境的变更。
一旦新版本和配置更改可用,它会计算应执行哪些升级和操作。
Apollo Control Panel:
用户界面,开发者和操作员与之交互以执行与软件管理、配置、操作和补救相关的工作流程。
Apollo Observability Platform:
与流行的可观察性和 DevOps 服务(如 Prometheus、DataDog 和 PagerDuty)集成,提供日志、指标、监控和警报的观察性工具。
Security and Governance:
集成了最佳的安全和治理控制,将安全和质量作为持续部署中的第一类概念。
Interoperability:
无缝集成现有的版本控制、 CI 和 artifact 仓库工具,并且是云不可知的,允许组织在不锁定供应商的情况下灵活地满足不断变化的需求和监管要求。
Apollo 平台的关键特性包括:
Canary Analysis:允许开发者从开发分支直接发布新特性到金丝雀环境中,缩短反馈循环。
Adjudication:自动仲裁发布,通过观察性能指标和错误状态,逐步将通过的发布推广到整个舰队。
Dependency Resolution:开发者可以在 Apollo SDK 中指定每个服务的依赖关系和兼容版本范围, Apollo 会根据这些兼容性编排升级。
Blue/Green Deployment:采用零停机时间升级策略,通过部署应用程序的第二个实例并逐渐将流量从旧实例转移到新实例。
Release Channels:环境所有者可以订阅特定的「发布渠道」,根据他们的风险容忍度和对新特性的渴望来定制。
Maintenance & Suppression Windows:开发者和操作员可以指定他们的产品和环境何时应该接受升级。
Recalling:如果一个应用的特定版本被识别为有缺陷或不稳定,Apollo 可以召回该版本,并强制升级或降级到已知的好版本。
总体而言,Palantir Apollo 是一个全面的解决方案,它通过提供一个集成的平台来管理软件的整个生命周期,从而帮助组织更安全、更快速地部署软件,同时保持对软件基础设施的灵活性和控制。
在元星座体系中,Apollo 主要用于在轨升级基础设施。由于卫星上行链路带宽限制,当星上软件系统或 AI 模型需要更新的时候,无法推送全量升级包。当每次需要在轨更新的时候,Apollo 会计算并发送一个优化包「Optimized Package」,对新版本与卫星上安装的当前版本之间的差异进行校验,通过地面站上注优化包后,在实例化 Edge AI 引擎之前将重建软件新版本。
不仅仅是软件功能模块,这种在轨升级能力也能用于微模型「Micro Models」的升级。根据模型在星上运行的情况以及反馈,在地面上对模型进行重训练后,可根据需要随时更新在轨模型的权重,不断提升星载 AI 的能力。同时,Apollo 与 Foundry 平台也能无缝集成,用户能够在 Foundry 中编写新的 AI 模型和逻辑,然后一键通过 Apollo 将该模型推送到卫星。
实际测试
2022 年 4 月 NewSat-27 发射成功后,4 月-11 月,Palantir 多次向客户展示了其为卫星分配任务的能力,从 NewSat-27 的多光谱相机中获取了 100 多张图像。
2022 年 10 月 30 日,在叙利亚塔尔图斯「Tartus」上空进行了最新的实时图像捕获和机载计算测试。以下是 Palantir USG 研发主管 Rob Imig 描述的测试结果:
叙利亚塔尔图斯海岸附近的船只。检测结果来自 Palantir 新的内部 ML 模型,该模型基于我们 Tartus 捕获的一部分收集的图像
Palantir MetaConstellation 使用户可以轻松进行图像分析。这里我们将 2022 年 10 月 30 日在塔尔图斯捕获的图像与之前于 2022 年 9 月 17 日收集的图像进行比较
元星座系统架构
元星座系统分为三类节点,边缘节点「Edge Node」、中心控制节点「Central Control Node」和访问节点「Access Node」。其中,访问节点为终端用户的统一用户界面,通常是通过 Skykit 套件来访问。边缘节点为卫星星座及其星载组件,搭载了边缘推理平台AIP「AI Inference Platform」(注:在 Palantir 有的对外介绍里面,也称之为 SIP 平台Sensor Inference Platform)。AIP 是 Edge AI 引擎的核心组件。
中心控制节点通常在地面,是整个元星座系统的核心和大脑,负责接收用户请求,根据卫星星座的能力、时空位置等进行智能筹划、任务智能分配。同时,处理收集数据,并生成决策洞察,管理整个星座的运行情况。中心控制节点通过优化资源分配、监控系统状态、协调通信以及提供用户交互界面,使得元星座系统能够提供实时、准确的数据分析和决策支持。
星座引擎「Constellation Engine」
操作引擎「Operational Engine」
数据管理平台「Data Management Platform」
决策系统「Decision System」
其中,星座引擎「Constellation Engine」负责接收和处理用户请求,包括监测特定目标或执行特定任务的请求。星座引擎将请求分解成具体的一个或多个卫星任务,并根据任务的参数(如位置、视野、传感器类型、时间等),结合卫星的能力、位置、可用性等因素来选择适当的卫星来执行,根据任务的需要选择和部署相应的AI模型。同时,星座引擎还负责监控侦察任务的执行情况,并可能根据需要调整任务分配。
操作引擎「Operational Engine」专注于基于星座引擎分配的任务和收集的数据来生成行动计划。操作引擎接收来自卫星星座的数据和任务结果,包括数据融合、特征提取和模式识别等,根据这些数据和分析结果来生成行动计划。
星座引擎与操作引擎之间的相互进行互补和协作。星座引擎主要负责接收监控请求,分解成任务,并选择适当的边缘设备来执行。操作引擎则根据分配的任务和收集的数据生成行动计划。这两个引擎共同工作,星座引擎确保任务的有效分配和执行,而操作引擎则利用这些任务的结果来指导系统的进一步行动。这种协作确保了元星座系统能够有效地响应用户请求,执行任务,并根据收集到的数据做出决策。
星座引擎和操作引擎之间通常涉及数据流和任务流的协调。星座引擎负责将任务分配给边缘设备,而操作引擎则利用这些设备收集的数据来生成行动计划。一旦行动计划生成,操作引擎可能会将这些计划发送回星座引擎,后者再将这些计划分配给相应的边缘设备执行。在执行过程中,星座引擎可能需要与操作引擎协调,以确保任务的顺利进行,并根据操作引擎的反馈调整任务分配。
在某些情况下,星座引擎可能需要根据操作引擎的分析结果来调整任务分配策略,以优化资源使用和提高任务执行效率。同时,操作引擎可能需要星座引擎提供的任务执行状态和反馈信息来优化其行动计划。
决策系统「Decision System」用于提供决策支持,它利用收集到的数据(上下文数据、历史数据、模型输出等)和部署的模型来生成监控请求和/或收集请求。决策系统可能接收操作引擎的反馈来调整其请求生成策略,并可能接收星座引擎的监控数据来优化其决策模型。请求生成:基于上下文数据、历史数据、模型输出等生成监控和收集请求。模型部署:管理和部署到边缘设备的 AI 模型,包括模型的选择、配置和更新。结果分析:分析边缘设备发送回来的数据和洞察,为决策提供支持。
数据管理平台「Data Management Platform」负责管理整个系统中的数据流,包括存储、处理和分发数据。DMP 包含数据仓库,用于存储历史传感器数据、模型参数、对象参数等。它存储和管理从边缘设备收集的原始数据和处理后的数据,执行数据分析任务,包括统计分析、趋势预测等。同时,数据管理平台还包括数据安全(数据加密、访问控制、合规、隐私等)和数据备份(备份关键数据和系统配置等)的功能。DMP 还可能与 AIP 平台集成,以支持模型的部署和管理。
边缘节点部分包含边缘推理平台「AI Inference Platform」,AIP 是一个运行在星座上的轻量级高度可配置和模块化模型基础设施,用于动态模型编排。它接收来自各种传感器的数据流,并应用 AI 处理(如容器化的微模型)来产生结果。AIP 支持多种输入格式,如实时流媒体协议 RTP/RTSP、国家图像传输格式标准 NITF、GeoTIFF 等,并能输出开放标准格式到下游系统,如 XML、CoT、GeoJSON。AIP 还使用工具来简化和自动化复杂的数据工程任务,如计算机视觉模型「CV」、射频处理「RF」、图像处理等。AIP 支持实时 AI/ML 处理,使得在卫星星座上可以进行复杂的数据处理和分析。AIP 属于 Edge AI引擎的端侧部分,包含如下几个功能:
数据接收与处理:AIP 接收来自边缘设备的原始数据,这可能包括图像、视频、传感器读数等。AIP 对这些数据进行预处理,如清洗、格式化、特征提取等。
AI 模型推理:AIP 在边缘设备上运行预先训练好的AI模型,这些模型可以是机器学习、深度学习或其他类型的计算模型。模型用于对端上传感器采集的数据进行分析,如对象识别、模式检测、预测等。
结果输出:AIP 将模型处理后的结果转换为可理解的洞察,这些洞察可能是分类结果、预测值、异常检测等。AIP 将这些洞察输出到系统,供决策系统或其他组件使用。
模型管理:AIP 负责管理端上的 AI 模型的生命周期,包括模型的部署、更新和维护。AIP 支持模型的热插拔,允许在运行时动态更换模型以适应不同的任务需求。
资源优化:AIP 能够优化星载计算资源的使用,确保在有限的计算资源和能源消耗下高效运行模型。AIP 可能包括适应性运行配置,允许模型根据任务需求和资源可用性进行调整。
通信与协调:AIP 与星座引擎、操作引擎、决策系统等其他系统组件通信,接收任务指令和发送处理结果。AIP可能协调多个边缘设备之间的数据交换和任务执行。
安全性:AIP 确保数据和模型的安全性,可能包括数据加密、模型保护和访问控制。
用户交互:AIP 可能提供用户界面,允许用户监控系统状态、查看分析结果、设置参数或接收警报。
AIP 的设计使得它能够在边缘设备上执行复杂的数据处理和分析任务,减少了数据传输延迟,提高了系统的响应速度和效率。通过在近数据源附近进行智能处理,AIP 支持实时或近实时的决策支持,这对于需要快速响应的应用场景至关重要。这一点也正是是元星座的核心能力之一。
任务流程
元星座的主体流程分为中心控制节点处理流程和卫星星座节点处理流程。
[中心节点]接收请求「Receive a request」:中心控制节点从用户接收一个包含多个请求参数的请求。
[中心节点]分解请求「Decompose the request into one or more tasks」:将请求分解为一个或多个任务,这些任务基于请求的参数,如位置、时间窗口、频率、目标等。
[中心节点]选择卫星星座「Select one or more edge devices」:系统根据请求参数选择一颗或多颗卫星。需要考虑卫星的能力范围和当前的可用性,以及它们是否搭载了执行该任务所需的传感器和 AI 模型。
[中心节点]分配任务「Assign the one or more tasks」:将一个或多个任务分配给选定的卫星,被分配任务的卫星将接收到一个包含多个任务参数的任务分配,包括一组收集参数和一组监控参数。
[中心节点]执行任务「Conduct a task according to the task assignment」:卫星执行被分配的任务,开始采集数据。
[卫星节点]接收任务分配「Receive a task assignment」:卫星接收到一个包含多个任务参数的任务分配,这些参数可能包括一组收集请求参数和一组监控请求参数。
[卫星节点]任务执行「Conduct a task according to the task assignment」:边缘设备根据任务分配执行任务,这可能包括收集数据、运行AI模型、处理数据等。
[卫星节点]接收模型管道指示「Receive an indication of a model pipeline」:卫星接收模型管道的指示,其中包括一个或多个模型,这些模型将用于处理收集到的数据。
[卫星节点]模型激活「Activate the one or more models」:卫星节点激活这些模型,准备它们用于数据处理。
[卫星节点]生成任务结果「Generate a task result by applying the one or more models to the collected data」:卫星通过将这些模型应用于收集的数据来生成任务结果。
[卫星节点]任务结果传输「Transmit the task result to a computing device」:边缘设备将任务结果传输回中心控制节点或数据处理中心,以便进一步分析或执行。
[中心节点]接收任务结果「Receive one or more task results from the one or more selected edge devices」:系统从执行任务的卫星及诶单接收任务结果,包括收集的数据、处理后的洞察等。
除了主干流程外,还包括如下几个流程:
任务优化:系统可能还包括优化任务分配的机制,例如通过使用优化模型来选择最适合执行任务的边缘设备。
模型部署:系统可以根据请求参数选择和部署模型到边缘设备上,以便它们可以执行更复杂的数据处理任务。
反馈循环:系统可能还包括反馈机制,允许用户或控制设备根据任务结果调整请求参数或模型。
元星座系统中,包含两种请求「Request」队列,分别为监控请求队列和「Monitor Request Queue」和收集请求队列「Collection Request Queue」。收集请求通常指的是系统需要从边缘设备收集的特定类型的数据,包括收集参数,如位置、视野、传感器类型、时间等。收集请求的目标是为了获取数据,以便进行后续的分析和处理。监控请求则涉及到持续或定期地观察和跟踪某个特定区域或对象的状态。监控请求包括监控参数,如上下文数据、感知模型、融合函数、活动指标和目标标准等。监控请求的目标是实时或定期地获取数据,以便系统能够对变化做出响应。简而言之,收集请求更侧重于获取数据,而监控请求更侧重于持续的观察和跟踪。在实际应用中,这两种请求可能需要不同的处理策略和资源分配。例如,收集请求可能需要安排特定的数据采集任务,而监控请求可能需要持续的数据处理和分析能力。
监控请求队列由用户发起,通常会包含上下文数据 Contextual Data 、感知模型 Perception Models、融合函数 Fusion Functions 和目标特性 Target Criteria。监控请求队列和对应的模型「Models」传递给星座引擎,星座引擎根据监控请求生成对应的收集请求「Collection Request」,包含卫星的位置参数「Location」、传感器参数「Sensor」和时间参数「Timing」等,并进一步通过智能运筹生成星座任务「Task」。星座任务包括收集数据或运行 AI 模型。星座任务通过地面站传给卫星星座,如果是需要星载计算的,则会通过地面站将模型一并上注到星上 AIP 组件。
被选中的卫星执行完对应任务后,将生成数据(包括卫星自身的参数数据、原始数据、AI推理结果数据等)传输至中心控制节点的操作引擎「Operational Engine」,操作引擎使用模型,如规划模型「Planning Model」、评分模型「Scoring Model」等处理收集到的数据,生成行动方案「Course of Actions」。行动方案提供给用户「Operational Users」,用户可以基于这些方案进行决策和执行。用户或其他系统可能会提供反馈,这些反馈可以用于更新模型、调整任务分配策略或优化整个系统。
边缘设备「Edge Devices」包括传感器设备、带有相关 AI 处理平台「AIP」设备,以及被动设备「Passive Devices」。这些设备能够接收监控请求「Monitoring Request」并运行相应的模型以满足这些请求。传感器设备「Sensor Device」包含一个或多个传感器,用于收集传感器数据。
控制设备「Controlling Devices」即为中心控制节点,数据管理平台「Data Management Platform」和决策系统「Decision System」处于其中。数据管理平台负责将模型部署到边缘设备,而决策系统使用模型和存储在数据仓库中「Data Repository」的上下文数据来生成监控请求「Monitoring Request」和收集请求「Collection Request」。
控制设备将监控请求与收集请求通过请求管道「Request Pipeline」中的上行链路「Uplinks」发送到边缘设备「Edge Devices」,同时,支持根据任务需要进行动态模型部署「Dynamic Model Deployment」。
边缘设备接收到监控请求后,会运行相应的模型来处理数据,以满足这些请求,包括感知模型、地理配准模型等。处理后的数据会被发送到其他边缘设备进行进一步处理,或者直接发送到控制设备进行决策。
本质上决策系统是一个实时运筹优化器,这部分是元星座系统最为核心也最为重要的组件。决策系统需要将复杂的数百颗在轨卫星、传感器、AI 模型、地面站、数百个用户的数百个任务等多个因素以及各类约束条件统一考虑,统一进行智能筹划。这是一个复杂的运筹学问题,同时,在作战场景下,对实时性要求很高,对决策系统来说是个很大的技术挑战。
应用场景
元星座系统从 2021 年 9 月对外正式发布以来,目前已在多个行业进行深度应用,国防安全、应急救援、基础设施、环境监测等。
在国防方面,从 2020 年12月起,Palantir 陆续参加了北方司令部 USNORTHCOM「US Northern Command」和北美航空航天防御司令部 NORAD「North American Aerospace Defense Command」开始组织的一系列 GIDE 演习「美军全球信息优势系列实验Global Information Dominance Experiments」,旨在促进美军联合全域指挥与控制「JADC2」整体大目标的进展,为美军寻找新一代保持在感知、信息、决策方面霸权主导地位的先进技术。
2021 年 8 月 12 日,Palantir 2021 年第二季度财报电话会议「Earning Call」上,Palantir COO Shyam Sankar介绍道「我们上个月的 GIDE3 中部署的一些产品,我们称之为元星座,它正在从根本上改变卫星的任务分配方式、收集延迟,并在人工智能决策链中创建一个基本环节。一夜之间,我们与一系列商业航天公司合作,精心策划了一个由 237 颗卫星组成的元星座。」这是元星座系统首次亮相美国军方,在 GIDE3 实验中,参与者主要使用元星座来监控全球各地的竞争对手的活动迹象,为决策者快速提供情报。
2023 年 6 月 16 日,Palantir 获得三份共计超过 1 亿美元的空军与太空军合同,提供数据即服务,三份合同将支持空军和太空部队的各个单位。其中,第二份合同价值 3300万美元,旨在为美军太空军旗下单位—国家太空防御中心「National Space Defense Center」和联合太空作战中心「Combined Space Operations Center」提供商业货架产品和数据,提供关键任务的太空态势感知「Space Situational Awareness and [Command-and-Control]」和指控的能力。第三份合同价值 1900 万美元,用于支持美国北方司令部和北美航空航天防御司令部。USNORTHCOM 和 NORAD 的总部均位于科罗拉多州彼得森太空军基地,同属同一位指挥官。所有三份合同预计于 2024 年 6 月 15 日完成。
在乌克兰方面,Palantir 乌克兰代表处于 2022 年 5 月成立,一个月后,Palantir 首席执行官亚历克斯·卡普「Alex Karp」成为第一批亲自访问乌克兰的西方大型企业的高层管理人员之一,并拜访了乌克兰总统泽连斯基,双方讨论了国防安全以及数字化领域的进一步合作。随后,元星座系统开始在乌克兰使用,据 Palantir 一位开发人员称,到 2022年春季末,数十名乌克兰方面专家已经在积极致力于改进该系统以适应乌克兰的实际情况。
2022 年 10 月,《国防一号》「Defense One」一篇报道写到,「乌克兰的迅速反攻在很大程度上要归功于美国的武器、策划和情报帮助。但美国陆军也从中受益:通过学习如何更快地将情报从卫星转移到地面部队,答案之一是规划:确保卫星可以在指挥官需要的时间和地点收集数据。」一位 Palantir 工作人员告诉《国防一号》「我们正在开发一个叫做 Skykit 的东西,基本上就是元星座系统、一台笔记本电脑、一台星链和一个坚固的箱子……」。
2023 年 1 月,Palantir 正式推出 Skykit,但据法国《快报》报道称,乌克兰方面在此前就已经收到并开始试用 Skykit。2023 年 2 月在硅谷举行的一次活动中,Palantir CEO Alex Karp 表示,元星座系统当前已经在负责乌克兰作战行动中的大部分的目标定位任务。
国防安全无疑是元星座最大最核心的应用场景,但除此之外,元星座在一些政府场景、商业场景开始逐步彰显价值。2022 年 11 月 17 日,国际可再生能源「REP」生产商 Sonnedix 宣布与 Palantir 建立合作伙伴关系,签订了为期 4 年数百万美元的合同。 Sonnedix 将通过元星座为其基础设施集成商业卫星图像的能力,用于远程监控太阳能场,识别需要维修的未对准的太阳能跟踪器。这一过程不仅有助于缩减发现时间(以前是手动过程),而且还有助于最大限度地提高所有 Sonnedix 太阳能发电场的产量。
此外,2022 年 9 月 9 日,《巴伦周刊》报道了 Palantir 正在帮助加州发现并监测野火的事情。花旗公用事业分析师 Ryan Levine 在报道中提到,「9 月创纪录的高温,让我们正在进入一个熟悉的充满停电、野火的季节,尽管外部火灾风险与去年相似,但大型电力供应商南加州爱迪生公司「Southern California Edison」在 2022 年的准备比 2021 年要充分得多,他们正在使用 Palantir 的元星座系统聚合和分析图像,来发现和降低野火的风险」。
可以看到,在可预见的未来,这套下一代行星级时敏情报系统将不仅仅是军用专属,也不仅仅只为国家安全而服务,随着规模化效应,卫星数据使用成本的逐步下降,元星座系统将会拓展出更多的商业场景,彻底改变过去卫星的情报的分发流程与使用效率。
四、发展趋势
元星座无疑是 2023 年全球范围最为亮眼的情报系统,从各种公开资料与只言片语,我们大概能还原出 Palantir 正在尝试的方向以及元星座未来发展的趋势,分别是:情报融合、信火一体、星间计算、语言模型。
趋势一:情报融合
在 Skykit 中,除了用于访问元星座系统的军用笔记本终端、Starlink,还配置了单兵战术侦察无人机、Trailcam Nano 单兵相机。专为 DDIL 环境「拒绝、中断、间歇或受限的网络环境」设计,通过使用附带的 Starlink 终端进行短暂连接用于下载卫星相关数据后,可完全在离网环境运行。同时,Skykit 箱子中带边缘算力,猜测也搭载了 Edge AI 引擎,支持在离网环境下使用各类 AI/ML 检测模型,用于指示和警告「I&W」、目标确认、战斗损伤评估「BDA」等。
遥感图像情报IMINT与本地的电子情报 ELINT、无人机 UAV FMV「全动态视频」情报等可以在 Skykit 中进行融合,进一步生成战术边缘侧的统一通用作战图「Common Operating Picture」。另外,Palantir 也在探索视频增强技术,不仅可以将无人机视频帧中的每个像素都映射到物理世界的地理坐标,还可以反向将 2D 静态地图中的数据实时绘制在无人机视频上,具有高精度地理信息配准,以实现军事级的作战增强现实。
可以预见,未来元星座的行星情报将会与更多本地战术装备产生的情报进行融合,不只是无人机,包括无人船、无人潜艇、地面无人装备等,形成更加丰富的战场全域态势感知能力,这一点可以参考 Anduril 公司的 Lattice 系统。
趋势二:信火一体
2022 年 12 月 9 日,华盛顿邮报在深度报道《算法如何打破乌克兰的平衡》中,乌克兰军官向来访的记者介绍到元星座系统时提到如下
如果这是一个正在运行的作战行动中心,而不是为来访的记者进行演示,可以直接使用瞄准程序选择导弹、火炮或武装无人机来攻击屏幕上显示的俄罗斯阵地。然后无人机可以确认袭击,并将损害评估反馈到系统中。
事实上 Palantir 从 2021 年左右,就一直在研究如何用 AI 技术提高地理信息配准的精度,无论是基于天基还是空基的传感器。一方面是用来弥补有的侦察载荷的硬件能力不足,另一方面更重要的原因就是为了形成高精度目标指引,从而引导火力打击,形成「信火一体」的能力。
元星座系统不止满足于做好情报系统,当与更多的本地战术级情报完成融合后,下一步一定是从「情报链」走向「杀伤链」。真正达到战术末端的信火一体、战术级的联合全域指挥控制 JADC2。
华盛顿邮报记者在 Palantir 基辅办事处还会见了 Palantir 的一个高级团队。经过首席执行官卡普的批准,他们同意向记者展示一些容易让公司处于风口浪尖技术,有可能会引发一场战争革命的详细研究,一个允许盟军使用围绕在每个潜在战场上的无处不在的传感器,创造一个真正致命的「杀伤链」。
趋势三:星间计算
2022 年 4 月 5 日,Palantir 在其官方博文<Palantir EdgeAI in Space>中明确提到下一步工作计划:
对于未来的发射任务,Palantir 正在研究更多的通信选项,包括星间链路 ISL。这将实现搭载了 Edge AI 的卫星之间的低延迟 Tip and Cue「星间接力」。这里 Tip and Cue 指使用两颗或更多卫星执行请求来监视感兴趣的点或对象的过程,一颗卫星配备具有高视场的低分辨率光学传感器,收集图像「Tip」,并将该数据转发到第二颗具有更高分辨率传感器的卫星,以进行后续成像、监控和分析「Cue」。
不只是星间通信,Palantir 也在研究星间计算,一种跨星座的分布式计算技术。相比而言,星间计算更是一种革命性的能力,人类第一张太空分布式算力网有可能在未来几年内就能实现组网。
同时,2023 年 9 月 14 日,Satellogic 与天基光通信公司 Skyloom 达成战略合作,未来会将 Skyloom 的太空激光通信终端产品 OCT 集成到 Satellogic 星座的 Mark-V 平台。利用 OCT,Satellogic 将通过 Sky Compass 1(Skyloom 与其合作伙伴Space Compass 开发的 GEO 激光通信网络基础设施)和直接下行链路来测试高分辨率 EO 数据传输的新方法。
趋势四:语言模型
2022 年 11 月,ChatGPT 横空出世,大语言模型技术开始了技术爆炸的一年。2023 年 4 月 26 日,Palantir正式对外发布了其大语言模型平台 AIP「Artificial Intelligence Platform」(注意这里的 AIP 不是卫星星载的 AIP AI Inference Platform)。同时,AIP 也是全球第一个正式对外发布的 LLM 在 Defense Tech 里面的应用。
在 AIP 对外演示 Demo 中,Palantir 利用 LLM as a Brain 的能力,串联了元星座系统、无人机指控系统等一系列系统和 AI 模型,在自然语言交互、增强数据检索、工具集成利用、辅助情报研判、作战任务筹划、态势报告撰写等方面给作战参谋形成 Copilot 的能力。在 AIP 中,更加极致简化了终端用户发起卫星AI侦察和获取卫星图像的流程,无需配置复杂的监控请求参数,无需关注星座运筹优化的配置,更加聚焦作战任务本身。
毫无疑问 LLM 在军事里面的应用是美军2023年最为关注的重点之一,而 LLM 与元星座的结合未来也绝不仅仅只是自然语言交互以及 Tool Use层面的集成。打通了 438 颗卫星的元星座本身就是一个「太空蜂群」,如何用 LLM 的能力去指挥控制蜂群完成更为复杂的任务,以及当未来星间通信和星间计算大规模普及后,是一个更加复杂的星座运筹学问题,如何用 LLM 去解决这些问题都是值得探索的方向。
同时,更有想象力的一点是,基于 LLM 的 Agent,无论是具身的 Agent 还是数字的Agent,未来又能否能自主地去发起情报请求、生成情报产品,再智能分发给匹配的战术末端,从「人找情报」到「情报找人」。更进一步,当自主 Agent 不仅仅局限在获取时敏情报方面有所突破,而是真正具备自主发起一次战术行动的时候,我们又该如何应对。当然,这又是另一个更加广阔的话题了。
结束语
元星座系统通过连接战术末端与卫星星座,让天基情报从自上而下的「集中式被动分发」走向了自下而上的「分布式主动请求」。通过星载 AI 计算,将情报产品的生成时间从天级缩短为秒级,极大提升了对时敏目标的发现跟踪能力。同时,通过大规模接入商业卫星,实现了行星级全天候的持续监测。最后,通过对星座、传感器、任务、地面站、用户的统一智能运筹优化,共同组成了覆盖全球范围的「天地一张情报网」。
更为关键的是,元星座的建设过程摒弃了传统国防装备过去面向设想规格指标、以硬件为主、软件被视为可有可无的建设思路,转变为以软件加算法为核心,面向实际作战能力,以成熟商用货架产品加数据服务作为交付物。而这一点,其实是元星座背后我们更应该要引起关注和重视的地方。对于要将当前日新月异、爆炸式发展的民用尖端 AI 2.0 技术,应用到 Defense Tech 领域,这种思路上的转变是我们更加亟待的。
俄乌战争可以说是人类第一次真正意义上的「软件定义战争」,也是第一次真正意义上的「算法参与的战争」。回顾一下作战场景下的 Target Coordination Cycle「目标协调周期」,即发现「Find」、跟踪「Track」、定位「Target」和打击「Prosecute」。目标协调周期的目的是确保作战行动的效率和效果,快速、准确地响应战场变化,这个个过程是现代战争中 C2 系统的核心部分,尤其是在使用精确制导武器、实时情报、ISR 系统的情况下。
当我们进入算法时代时,整个周期时间被大大压缩。从算法开始检测目标的那一刻起,直到这些目标被打击,不超过两三分钟。在旧世界,该过程可能需要数小时甚至半天。然而世界上大部分的军队至今仍在那个旧世界中作战,遵循着在一个以小时为单位甚至是天为单位的世界中试验和发展的军事学说。他们的装备和动作太大、太明显、太慢并且最终让他们都变得都太脆弱。
俄乌战争、巴以冲突不知道会不会是最后一场主要在现实世界中进行的大规模战争,但我们应该为物理战场和数字战场互换位置的时刻做好准备。数字战场不是士兵、坦克或飞机之间的战争,而是算法与算法之间的较量。只有站在更高维度通过算法去洞察数据,或许才能揭开下一个时代的「战争迷雾」。
[ 全文完 ]
如果您对文章中提到的系统有深入的兴趣,我们有上述描述中几乎所有相关的技术与能力,可在公众号主页点击联系我们与我们线下深入沟通
靖安科技
靖安科技是一家先进防御技术提供商,致力于利用前沿科技解决 Defense Tech 领域最复杂和最具挑战性的难题。
推荐阅读
九、
十、
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...