北大陈宝权：多尺度具身影像计算

成像技术是科学研究中不可或缺的技术。曾有多人因成像新技术及其新发现而获得了诺贝尔奖。从望远镜的发明到冷冻电镜的出现，从照相术到高速、高分辨率的数字成像，人类历史上每一次成像技术的进步都能带来新的科学问题和新的科学发现。近年来的计算技术为成像带来了新机遇，影像计算技术飞速发展。以计算机视觉为代表的影像计算技术突破了传统成像系统在分辨率、对比度、成像通量等方面的极限，使人类得以观察到用传统物理方法难以捕捉到的现象。例如，计算机三维重建技术极大地提高了冷冻电镜解析生物大分子结构的精度，为生物学和药物设计提供了强有力的工具。2019年，事件视界望远镜(Event Horizen Telescope，EHT)合作组织利用射电干涉和压缩感知重建技术，成功拍摄到首张黑洞照片，为理解爱因斯坦的广义相对论提供了重要的影像支撑。

成像和影像计算紧密结合，意义重大。20世纪90年代以来，学术界将二者合并研究，并逐渐形成了一门新兴的学科：计算成像。计算成像涵盖了从10⁻⁹m到10⁹m尺度的微观、宏观和宇观研究对象。尽管研究对象差异巨大，但不同尺度下的计算成像技术往往相互借鉴，形成新的科学突破。例如，天文观测上的多光谱观测被医学影像借鉴用于癌症影像检测，源自天文望远镜的宇观自适应光学技术被用于深层生物组织的显微成像，宏观尺度的3D立体重建方法被应用于微观尺度的分子观测，结构光照明既可应用于宏观尺度的立体建模，也可应用于微观尺度的超分辨率显微成像。

然而，现有影像计算技术在认知复杂动态世界的过程中，尤其是在观测广袤空间中发生在微小局部或转瞬即逝的微弱瞬变信号时仍存在诸多不足，成为现象理解与科学发现的瓶颈。本期专题将具有这一特点的现象统称为“时空超敏现象”，它们往往是人类感知世界和进行科学发现的关键对象，微观的如生物细胞内分子机器运行、信号传导等生理活动，宏观的如湍流、爆炸等高速演变的物理现象，以及宇观的超新星、快速射电暴等瞬时爆发事件等。这些多尺度下的时空超敏现象往往在时间和空间上都需要超高灵敏度的测量，以及能够持续实时跟踪并高精度地捕捉丰富动态细节的观测能力，而现有成像技术往往由于缺乏有效的预测手段，难以对这些现象实施跟踪观测；由于观测信号多源异质，难以整合形成全局信息表达；也由于现象复杂多样，难以解析现象的本质规律。

与此同时，随着科学领域的研究逐步从还原论向系统论过渡，如生物学前沿从“分子生物学”向“整合生物学”迈进、天文学研究步入时域巡天观测的新阶段，成像技术要求采取整体观测、多模态融合的新方式，全景捕捉观测对象的多重物理信息，并建立它们之间的相互关联，透过现象揭示其本质规律。而在现有计算成像框架中，影像观测与科学发现通常被看作两个独立的阶段，依赖人工分析和归纳。这种分离导致了从影像观测到科学发现链路中的断点，阻碍了影像观测与现象理解、科学发现之间自动协同进步的可能性，进而影响了影像获取的质量、分析的效率和科学发现的能力。

针对多尺度时空超敏现象面临的观测分析难题，受人工智能领域“具身智能”思想的启发，本期专题提出“具身影像计算”的全新范式，以破解现有影像计算技术在面对时空超敏现象时的诸多技术瓶颈。在“具身影像计算”这一范式下，成像系统不再是被动的工具，而是一个内建智能建模分析模块，具有感知、计算和行为能力，且能够基于目标导向和领域知识自主优化观测策略的成像智能体。在科学家设定初始研究目标后，成像智能体将自主介入观测过程，对时空超敏现象的动态演化物理过程进行建模，对时空超敏现象进行精确预测捕捉；融合多元观测信息，对超敏现象进行全面理解；分析解译现象背后的物理规律，获取领域知识；并以此进行原位(in-situ)预测，主动优化观测策略，灵活调配成像资源，实现时空超敏现象的精准观测与科学分析发现的闭环优化。具身影像计算弥补了传统计算成像框架在观测和分析上的缺陷，完成对现实世界更精准的建模，从而推动从微观动态生命到宇观动态宇宙的科学发现，具有重要科学意义。

本期专题共有六篇文章。第一篇《多尺度具身影像计算》作为总纲，分析了当前成像系统在应对多尺度时空超敏现象时面临的共性挑战，提出了具身影像计算的全新范式，并讨论了其代表性科学应用。

第二篇《可定制机器学习系统》和第三篇《四维具身影像生成》作为方法论，探讨了具身影像计算在具体实现中对机器学习系统和影像计算方法的新需求。在多尺度时空超敏现象的观测中，既需要高效的学习系统快速理解不同尺度的动态影像内容，又需要对现象的未来发展做出精准预测。《可定制机器学习系统》分析了现有机器学习方法在多尺度影像理解中遇到的通用性差、适配性弱、动态调整慢等难题，并提出了可定制机器学习系统的新学习范式，针对不同尺度现象中复杂多样的科学机理，实现快速解译，以更好地适用于多尺度时空超敏现象机理认知任务。《四维具身影像生成》则关注影像计算方法的发展趋势。面对时空超敏现象的观测理解难题，需要结合视频大模型等生成式人工智能的发展，增强对现实世界的四维时空和物理认知，构建可进行物理感知的世界模拟器，实现从具身观测到世界建模的优化闭环。

第四篇《影像计算的前沿进展：从黑洞到细胞》围绕影像重建这一影像计算的核心问题，深入探讨了具身智能、生成模型、神经微分方程、神经渲染等先进的人工智能新技术如何革新现有影像计算框架，并简要综述了这些技术在天文、医学、生物等领域的成功应用和科学发现。

第五篇《具身显微成像：下一代智能化显微成像技术》和第六篇《面向时域天文的具身影像计算系统》讨论了多尺度具身影像计算在微观和宏观领域的具体发展。前者介绍了如何将具身影像计算应用到微观生物成像领域，讨论了具身显微成像技术这一新兴的高内涵成像方法，即通过智能化的计算和成像策略，实现对活细胞、多细胞器的超高时空分辨率成像，为生命科学提供新的、可主观决策的视角和工具。《面向时域天文的具身影像计算系统》则将具身影像计算推广到宇观的天文成像领域，讨论了具身影像计算新范式在望远镜阵列智能化观测调度的巨大优势，结合以司天工程为代表的大规模望远镜阵列系统，将有助于实现对引力波电磁对应体等罕见瞬变现象的高效发现，构建符合现有天文观测的数字宇宙模型。

当前，人工智能领域的飞速发展为实现具身影像计算理念奠定了坚实的基础，发展多尺度具身影像计算的时机已经成熟。这一跨学科融合方向代表了信息科学前沿进展与天文、生物等传统学科探索的深度交叉，在观测不同领域的时空超敏现象时具有普适价值。本期专题深度讨论了多尺度具身影像计算的新理论、新架构和新应用，希望给读者带来更为全面的了解。

CCF推荐