何从时间序列卫星影像(SITS),此海量数据中高效、智能地提取知识,一直是遥感领域面临的核心挑战。
传统的像素级分析方法在处理如此庞大、复杂的数据时常常显得力不从心。
近日刷到法国科学家的一篇研究:
《On the use of Graphs for Satellite Image Time Series》(论图在卫星影像时间序列中的应用)
这篇论文系统地提出并论证了一种创新有意思的解决方案:
将时间序列卫星影像(SITS)构建成时空图(Spatio-temporal Graph),并利用图和图神经网络(GNNs)进行分析。
核心思想:从像素到图,重塑时空分析框架
论文的核心在于提出了一个通用的、基于图的SITS分析pipeline,旨在回答三个关键问题 :
1、如何高效地用图来为SITS建模?
2、如何从这些图中提取有效信息?
3、如何针对具体应用调整该流程,解决实际的遥感问题?
这个流程将密集、规则的影像数据立方体,转换为一个结构化的、以“对象”为核心的交互网络,极大地提升了计算和分析效率。
如下图所示,该流程主要分为两个核心阶段:
从SITS到图的构建
识别影像中的地理实体(如地块、建筑物、水体),将其作为图中的节点(Nodes);然后定义并建立这些实体间的空间和时序关系(Edges)。
从图到具体任务的应用
利用构建好的时空图,执行可视化分析、模式挖掘、地物分类、动态预测等下游任务 。
图的构建
论文详细探讨了图构建中的三大要素:节点、特征和边。
1、 节点的定义:万物皆对象
图的节点是对真实世界现象的抽象。如何从影像中定义这些“对象”节点,论文给出了基于分割的同质区域、基于光谱相似性的像素簇、像素即对象等多种策略。
2、节点特征的提取
定义了节点后,需要给每个节点赋予描述其特性的特征。论文总结了两大类方法:人工特征、学习特征两种。
3、边的构建
边是图的灵魂,它定义了对象之间的相互作用。论文将其分为两类:
空间关系:描述同一时刻不同对象间的关系,比如拓扑、距离等
时空关系:描述不同时刻对象间的演化关系,如空间重叠、周期性连接等
模型验证
使用了两个数据集进行实验。
精细化动态土地覆盖制图
第一个数据集是DynamicEarthNet,包含75个SITS,每个SITS由多光谱图像组成,空间分辨率为3米,时间分辨率为每日。
在DynamicEarthNet数据集上,GraphSAGE模型在IoU)和OA指标上优于其他模型,特别是在农业、水域和不透水表面类别上表现突出。
尽管图的预处理需要时间,但一旦构建完成,GNN模型的训练速度远快于像素级的U-Net模型,参数量也大大减少,展现了在处理大规模数据时的效率优势。
虽然优势明显,但当前简单的图构建和特征提取方式,使得图方法的精度仍略低于成熟的像素级深度学习模型(如U-Net)。这表明,图方法在对象分割、特征工程和模型架构等方面仍有巨大的优化空间 。
基于GNN的水资源预测
利用历史SITS预测未来水体指数(NDWI)的动态变化。
第二个数据集是SEN2DWATER,包含3682个SITS,每个SITS由64x64像素的图像组成,时间分辨率约为两个月。
该图模型在多项预测精度指标(如RMSE, PSNR)上均优于包括ConvLSTM在内的传统时序预测模型,证明了其捕捉复杂时空动态的能力。
相比于传统模型,图模型能更好地预测非季节性的水体浊度变化,展现了其学习复杂物理过程的潜力。
小结
论文展示了基于图的pipeline在处理时间序列卫星图像方面的潜力和灵活性。
通过将SITS数据建模为图结构,并结合空间和时间关系,图pipeline能够更好地进行下游任务分析。实
验结果表明,模型在分类和预测任务中表现出色,特别是在处理复杂的数据关系和大规模数据时具有优势。
往期推荐:
欢迎交流
笔者长期从事人工智能、遥感、大模型等业务
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...