Nature Methods | 浙江大学刘华锋等报道结合物理模型的深度学习显著提高光学仪器成像质量 - 编程天地

iNature

所有的荧光图像都受到模糊和噪声的污染，但这种退化可以通过反卷积得到改善。例如，迭代Richardson-Lucy反褶积(RLD)通常用于荧光显微镜，如果主要噪声源是用泊松分布描述的，它是合适的。不幸的是，RLD对于三维(3D)和3D时间间隔(4D)数据的计算是繁重的，特别是在应用复杂正则化或大量迭代的情况下。为了应对这一挑战，研究人员最近提出了RLD变体，通过减少迭代次数，可以将反褶积速度加快至少10倍。部署这些方法需要仔细的参数优化，以避免引入工件。

2022年10月31日，浙江大学刘华锋教授团队与美国国家生物医学成像和生物工程研究所Hari Shroff及Yicong Wu合作在Nature Methods 杂志在线发表题为“Incorporating the image formation process into deep learning improves network performance”的研究论文，该研究提出了Richardson-Lucy网络(Richardson–Lucy network, RLN)，一种快速、轻量级的三维荧光显微反褶积深度学习方法。RLN结合了传统的Richardson-Lucy迭代和全卷积网络结构，建立了与图像形成过程的连接，从而提高了网络性能。

RLN只包含大约16000个参数，相比具有更多参数的纯数据驱动网络，RLN的处理速度快4到50倍。通过可视化和定量分析，研究表明RLN比其他网络具有更好的反褶积、更好的泛化性和更少的伪影，特别是沿轴向维数。在严重失焦荧光或噪声污染的体积上，RLN优于经典的Richardson-Lucy反褶积，并提供比经典的多视图管道快4到6倍的大型清除组织数据集的重建。总之，该研究展示了RLN在细胞、组织和胚胎上的表现，用广角显微镜、光片显微镜、共聚焦显微镜和超分辨率显微镜成像。

参数调优通常依赖于经验且耗时，理想情况下是自动化的。深度学习为自动化提供了一条途径，因为神经网络可以在提供充足的训练数据的情况下，自动学习输入数据和期望输出之间的映射关系。

目前，许多深度学习模型在超分辨率、去噪和反卷积应用方面表现出出色的能力，包括基于U-net架构的内容感知图像恢复网络(CARE)、剩余通道注意网络(RCAN)、DenseDeconNet (DDN)以及光场重建网络LFMNet和HyLFM。这些方法的缺点包括网络可解释性差和数据驱动的性质。后者表明训练数据的数量和质量可以极大地影响网络性能。关于深度学习方法的另一个问题是可泛化性，也就是说，对一种类型的数据进行训练的网络是否可以用于对另一种数据类型进行预测。

结合传统基于模型算法的可解释性和深度神经网络强大的学习能力，是一种很有前途的方法，一方面可以避免繁琐的参数调优，另一方面可以避免糟糕的泛化能力。算法unrolling提供了这样一个框架，使用神经网络层来表示传统迭代算法(例如ADMM-net16或ISTA-net、Deep-URL和USRNet)中的每一步。通过展开的网络传递输入数据等价于执行有限次迭代算法。

在这项研究中，研究人员受RLD和算法展开的启发，提出了一种将RL反褶积中的前/后向投影结构与深度学习相结合的3D显微镜反褶积方法，即Richardson-Lucy网络(RLN)。通过将RLN的反褶积能力与传统的RLD和纯数据驱动网络(包括CARE、RCAN和DDN)进行了对比，发现RLN比纯数据驱动的网络结构导致更少的工件，提供更好的反褶积和泛化能力。

图1. Richardson Lucy去卷积的分解以及RLN的训练和应用（图源自Nature Methods ）

RLN的学习参数数量不到CARE和RCAN的1/60，RLN训练后还能提供快速运行时间，处理时间至少提高了4倍，比3D RCAN快近50倍。最后，RLN比RLD提供了更好的轴向分辨率，即使在低信噪比(signal-to-noise, SNR)的情况下，当RLN训练合成数据时也是如此。此外，该研究还展示了RLN在模拟模体和广泛视野、光片、共聚焦和超分辨率显微镜下采集的不同样本上的能力。

图2. 用合成数据训练的RLN处理宽场显微图像的效果优于RLD（图源自Nature Methods ）

综上所述，该研究设计RLN来模拟经典迭代反褶积的前向/后向投影架构，从而提高网络性能。与之前基于算法展开的方法不同，RLN支持3D应用，由于参数是自动学习的，RLN有潜力消除最新反褶积中的手动参数选择，以及繁琐且目前未解决的停止准则问题。

原文链接：

https://www.nature.com/articles/s41592-022-01652-7

—END—

内容为【iNature】公众号原创，

转载请写明来源于【iNature】

微信加群

iNature汇集了4万名生命科学的研究人员及医生。我们组建了80个综合群（16个PI群及64个博士群），同时更具专业专门组建了相关专业群（植物，免疫，细胞，微生物，基因编辑，神经，化学，物理，心血管，肿瘤等群）。温馨提示：进群请备注一下（格式如学校+专业+姓名，如果是PI/教授，请注明是PI/教授，否则就直接默认为在读博士，谢谢）。可以先加小编微信号（iNature5），或者是长按二维码，添加小编，之后再进相关的群，非诚勿扰。