论文主体思路

论文主要贡献

  1. 提出了一个基于物理先验的卷积超分辨率网络(PCSR)，它结合了一个基于物理的损失项和一个基于维纳滤波器的初始优化过程，直接使用低分辨率图像创建优秀的超分辨率图像。实验结果表明，通过在有限的数据集上进行训练，PCSR可以实现100 ms的快速重建时间和10 nm的高空间分辨率，从而实现高时空分辨率、低细胞光毒性光照和高可及性的亚细胞研究。
  2. 为了减轻对高质量数据的依赖，我们提出了物理卷积超分辨率网络（PCSR）从低分辨率WF图像重建SR图像。PCSR由物理反演网络（PIN）和超分辨率网络（SRN）组成。SRN采用先进的网络结构，精确获得高质量的荧光图像。PIN旨在加强输入，促进SRN的训练，并产生改进的结果。具体来说，PIN模拟了荧光成像过程，并逆转了由PSF引起的模糊效应。这种方法将深度学习与物理建模相结合。
  3. 受荧光图像的稀疏性和连续性的物理先验性的启发，我们设计了一种新的由稀疏性损失项和连续性损失项组成的损失函数。为了优化被称为稀疏性和连续性（SC）损失的损失函数，我们用神经网络代替过去传统的方法来实现稀疏性和连续性的重建。SC损失函数会显著影响SR网络的结果。
  4. 研究了从单个LR荧光图像直接重建到SR图像的可能性。首先探索了PCSR对微管WF图像进行SR重建的可行性。然后，我们研究了物理先验对SR重建的影响。此外，我们还证明了PCSR在重建其他活细胞结构中的普遍性。实验结果表明，从单幅LR图像中获得SR图像 时，PCSR可以实现100 ms的快速重建时间和10 nm的高空间分辨率，为快速、准确和可获取的活细胞SR成像提供了可能。

网络结构

  1. 物理卷积超分辨率网络(PCSR)包括物理反演网络(PIN)和超分辨率网络(SRN)。
  2. LR图像首先经过基于维纳滤波的物理反演网络（PIN），再经过超分辨率卷积网络（SRN），实现荧光显微镜图像的超分辨率重建。最后，PCSR计算网络输出与接地真值（GT）之间的损失，然后通过反向传播优化PCSR参数。

物理反演网络(PIN)

  1. PIN包括伪逆算子求解器(POS)和傅立叶卷积运算(FCO)。PIN的输入由低分辨率（LR）图像和相应系统的点扩散函数（PSF）组成。
  2. 背景噪声的存在会降低图像的重建质量。这个问题可以通过维纳滤波器进行优化[34]，在一定程度上提高重构质量。

维纳滤波

Hadamard Product

GELU

  • GELU表示高斯误差线性单元，它是神经网络的高性能激活函数，是常用的整流线性单元（ReLU）激活函数的光滑变体。

超分辨率网络(SRN)

  • 在PIN之后，SRN负责SR重建（图3）。它包含了从低分辨率（LR）输入到SR输出学习复杂映射的卷积层。SRN包括编码器网络和解码器网络的对称结构。
  • RN的结构。SRN是一种实现超分辨率重构的卷积网络，包括编码器网络和解码器网络。SRN包括三个基本模块，分别是SR模块、下采样模块和上采样模块。

Loss Function

  1. 考虑到高分辨率的荧光显微镜图像变得更加稀疏，细胞结构应该是连续的，尽管在不同的显微镜系统下可能具有不同的外部形状[46]，荧光显微镜图像，如微管，应该遵循物理先验知识的稀疏性和连续性。因此，我们提出在损失函数内使用L1范数和Hessian矩阵作为正则化项来影响PCSR的学习机制。这种新的损失函数被称为稀疏性和连续性损失(SC)。式中，MSE为均方误差，||||1为L1范数，H为Hessian矩阵，λ，µ为正则化系数。
  2. L1范数表示为||||1，表示每个元素绝对值的和。使用L1范数作为正则化项的目的是产生低像素值，最终导致稀疏解决方案。

  1. Hessian矩阵，用H表示，是描述图像在不同方向上二阶导数的二维矩阵。Hessian矩阵通常用于提取边缘，降低噪声，使图像更加连续。这是因为图像的二阶导数对像素值突然变化的区域高度敏感。如果图像的像素值是均匀或一致的，则其黑森矩阵的每个元素趋向于低。通过降低Hessian矩阵的L1范数来平滑图像中的像素变化，具体情况如下：

  1. 通过将稀疏性和连续性的物理先验知识作为正则化项纳入损失函数中，神经网络的结果将呈现出稀疏性和连续性的特征。这些特征与我们生成SR显微镜图像的目标一致。
  2. 工作中进一步使用的损失函数如下：

PCSR实现细胞微管结构的超分辨率重建

  • （a, b） PCSR实现了从WF图像到STORM超分辨率图像的超分辨率重建（时间分辨率约为100 ms，空间分辨率约为10 nm）。b中的第一列：微管的WF图像。第二列：相同视场下微管的STORM图像。第三列：网络输出的SR图像。

    SR与GT的保真度较高。(c) b中蓝色框框区域放大。(d)左：c中蓝色虚线方向的强度分布。右：c中橙色虚线方向的强度分布。FWHM约为10 nm。比例尺：200nm。

训练细节

  1. 所提出的深度学习网络是在pytorch 1.10和python 3.8环境下进行的。使用的GPU服务器配置8张NVIDIA Tesla v10 - 16g显卡和48个CPU核。训练前，所有数据归一化为8位格式。此外，还对图像进行了水平和垂直翻转等随机数据增强技术。采用Adamw优化算法进行反向传播和参数更新[50]。参数更新的周期设置为400，批大小为16。整个训练过程大约花了2个小时。首先，学习率设置为0.001。在epoch 200时下降。Adamw是由Adam优化器[51]衍生而来的增强算法。它将权重衰减计算与梯度更新计算分离，减轻了权重衰减对梯度更新的影响。为了正确确定SC损耗项的系数，我们计算了GT的L1范数及其Hessian矩阵的L1范数。

结论

PCSR与其他网络的比较

  1. PCSR与其他网络的比较。(a) WF图像、GT、各网络输出。(b) a中的区域被放大。观察到GT中相邻微管的存在，PCSR成功地推断了细节。(c) b. PCSR中沿蓝线的强度分布推断出与GT相似的强度分布。(d)各网络输出的PSNR和SSIM箱形图。比例尺：200nm

损失函数和物理反演网络对PCSR性能的影响

SC损耗对网络输出的影响

  • 荧光显微镜图像具有固有的物理先验的稀疏性和连续性。为了利用这些先验，我们在PCSR的训练中加入了一个新的SC损失函数。在SC损耗中，连续性损耗项可以提高图像的连续性和平滑性，但会在一定程度上降低图像的分辨率，而稀疏性损耗项可以通过添加高频细节来提高分辨率，使图像变得清晰。通过将SC损失与其他常见损失函数（包括MSE损失和SSIM损失）进行比较，评估SC损失的影响。
  • SC损耗改善了网络结果。(a)从左至右：WF图像，GT，网络输出SR使用SC损耗，MSE损耗，SSIM损耗。（b, c） a中的框框区域被放大。与GT类似，SR成功地区分了相邻的微管，并产生了清晰的细节和连续的结构。比例尺：200nm。
  • 图6展示了使用不同损失函数的网络输出的可视化比较。用SC损失训练的PCSR成功地区分了相邻的微管，产生了与GT非常相似的清晰连续的结构。相比之下，用MSE损失训练的网络无法分辨紧密间隔的微管，导致特征模糊和不清晰。使用SSIM损失训练的网络虽然比MSE损失获得更高的PSNR和SSIM，但引入了严重的伪影，影响了图像的整体质量。
  • 将SC损失纳入PCSR训练中，大大提高了超分辨率荧光显微镜图像的质量。通过有效地结合稀疏性和连续性原则，SC损失提高了网络产生高保真重建的能力，优于传统的损失函数。这些结果证明了将物理先验整合到损失函数中对于基于深度学习的超分辨率成像的价值。

物理反演网络提高了WF图像的质量

  • 物理反演网络提高了WF图像的质量。(a)微管WF图像和PIN结果。PIN显著提高了WF图像的质量。(b) a中橙色区域被放大。(c) PCSR的损失函数表明PIN促进了网络的训练。蓝线表示添加PIN码(P)，橙线表示不添加PIN码（NP）。P的损失函数收敛曲线下降并快速稳定收敛，而NP的损失函数收敛曲线振荡剧烈。比例尺：200nm。
  • 利用维纳滤波器加入PIN，显著提高了PCSR的训练效率和稳定性。PIN通过减少伪影和平滑输入来提高WF图像的初始质量，从而促进更有效的网络训练。图7显示了PIN对图像质量和训练动态的影响。随着PIN的加入，网络损失函数收敛速度更快、更稳定，如图7(c)中的蓝线所示。在没有PIN的情况下，损失函数表现出严重的振荡，这表明在训练稳定性方面存在挑战。总体而言，PIN的集成提高了重建质量，加快了训练过程，强调了其在提高网络性能方面的重要性。

附录与补遗

论文中可以引用的部分

  1. 将物理先验纳入深度学习的第一种策略是逐步展开基于模型的算法，并用卷积层取代迭代过程。它结合了神经网络的高性能和物理模型的可解释性。第二种策略是设计包含物理先验的损失函数来影响网络的学习机制。它会显著影响神经网络的输出，而神经网络通常用于特定的应用。第三种策略是考虑正演成像物理模型，然后设计相应的逆解算法并与网络相结合。它可以优化网络输入，进一步方便网络训练。换句话说，物理先验的结合是提高神经网络性能和减少对数据依赖的有力工具。

关于文献

题目及期刊

题目：Super resolution reconstruction of fluorescence microscopy images by a convolutional network with physical priors

基于物理先验卷积网络的荧光显微图像超分辨率重建

期刊：Biomedical Optics Express

引用

  • Cai, Qiangyu, et al. “Super Resolution Reconstruction of Fluorescence Microscopy Images by a Convolutional Network with Physical Priors.” Biomedical Optics Express 15.11 (2024). Print.

作者信息

作者：QIANGYU CAI，JUN LU，WENTING GU，DI XIAO，BOYI LI，LEI XU，YUANJIE GU，BIQIN DONG，AND XIN LIU

发表时间

日期：2024年

阅读时间

日期：2024年11月18日

开源代码及其它

GitHub：无