论文主体思路

  1. 首先设计了空间频率编码网络(SFE-Net)，可直接从单个显微镜图像中提取有像差的PSF，并且利用估计的PSF通过反卷积算法可以基本消除相应的像差。
  2. 设计了空间特征转换引导(SFT)深傅立叶通道注意网络(SFT-DFCAN)。利用SFE-Net估计的PSF输入到SFT-DFCAN模型。证明了SFE-Net和SFT-DFCAN的结合可以实现活细胞成像的即时数字AO和光学像差感知超分辨率重建。
  3. 提出了一种新的空频编码网络（SFE-Net），它可以直接从生物图像中估计像差点扩展函数（psf），从而实现快速、高精度的光学像差估计，而无需额外的光学器件和图像采集。结果表明，利用估计的psf，通过反卷积算法可以计算地去除光学像差。

自适应光学(AO)

  1. AO的实现一般包括两个主要部分：像差检测和像差校正。
  2. 为了测量光学或样品引起的像差，开发了直接和间接波前传感方法。直接波前传感方法利用专用波前传感器，主要是Shack-Hartmann传感器，以及用于像差检测的额外光路。相比之下，间接波前传感方法在没有特定波前传感器的情况下表征像差，而是通过区域或模态方法通过重复采集计算确定像差。

深度学习部分

数据集

  • 使用BioSR(开源数据集)的GT-SIM图像作为生物荧光标本。根据光学成像模型，这些图像被有意地降级，可以表示为：

其中I为光学成像系统捕获的像差宽视场（WF）图像；S为生物标本，即GT-SIM图像；*表示卷积算子；NPoisson(.)表示泊松重构；G(0， σ2)为均值为0，方差为σ2的高斯白噪声；PSFZernike为像差点扩散函数，其瞳孔函数由Zernike多项式4-18 （Wyant排序）加权求和构造。这些函数可以用数学公式表示如下：

式中，Zn和an分别表示泽尼克多项式和n阶系数。A(.)为圆形apodiization函数，其半径由发射波长和探测数值孔径（NA）决定。F−1{.}表示快速傅里叶反变换算子。

每一阶的系数an随机抽样于均值为零、标准差为0.125的正态分布。我们为所有采样an设置了[−1,1 ]的上限和下限，以避免可能破坏训练过程稳定的极高或极低的值。由于a服从正态分布N(0, 0.125)，边界较松，因此产生的像差的均方根（RMS）近似服从重新标化的chi分布，其可表示为:

其中λ为发射波长。因此，训练和测试数据集的总均方根范围为[0,7.38 λ]。

  • 在训练过程中，将像差PSF图像PSFZernike作为PSF估计网络模型（SFE-Net）的目标，将GT-SIM图像S作为SFT-DFCAN等单图像超分辨率（SISR）网络模型的目标。

网络模型

空间频率编码网络(SFE-Net)

图1

  1. SFE-Net的架构如图所示，由双支路编码器和基于unet的解码器组成。
  2. 编码器网络由空间分支(SB)和频率分支(FB)两个并行分支组成，分别在空间和频率域提取深度特征。在这两个分支中，都采用了改进的残差通道注意网络(RCAN)，该网络有4个残差组*4个残差通道注意块(residual channel attention block)。FB分支经快速傅里叶变换层后，依次进行模算子和对数算子，从而将图像特征编码到傅里叶域中。
  3. 该解码器主要由U-net特征提取器和降阶模块两部分组成。我们采用了一个比较深的U-net模型[11]，它以一个双卷积块（图1(c)）开始，然后是5个低尺度块（图1(d)）和5个高尺度块（图1(e)），其中5个跳跃连接桥接相同尺度的特征。在每个降尺度块中，使用最大池化层和双卷积块进行降尺度和特征提取。在Up模块中，使用Pixel Shuffle来提升特征通道。(Pixel Shuffle的核心思想是将低分辨率特征图中的多个通道的数值重新排列到高分辨率图像的空间位置上)。
  4. U-Net网络的输出到downscale模块中，该模块由两个2x向下洗牌层和四个卷积- relu块组成。在每个卷积- relu块中，将卷积层的stride参数设置为2，使downscale模块能够将输入的132 × 132像素的特征映射转换为33 × 33像素的PSF图像。

空间特征变换引导的深傅立叶通道注意网络(SFT-DFCAN)

图2

  1. SFT-DFCAN的整体架构如图2(a)所示，它是根据我们之前提出的最先进的DLSR模型DFCAN[9]进行修改的，DFCAN[9]经过训练可以直接将WF图像转换为SR图像。
  2. 这里，为了将PSF和像差信息传递给图像SR处理，受SFTMD模型[12]的启发，我们将原始的傅立叶通道注意块（FCAB）更新为空间特征转换引导的FCAB (SFT-FCAB)，该FCAB可以利用嵌入的PSF信息自适应地重新缩放SFT-FCAB中的空间特征。具体来说，我们使用主成分分析将PSF投影到维度为b的线性空间上。然后将该投影的PSF拉伸成大小为b × H × W的PSF嵌入，该嵌入作为每个SFT-FCAB的输入。在每个SFT-FCAB中，PSF嵌入通过两个con - relu块与生物结构的空间特征映射相结合，对输入特征映射进行缩放和移位。随后，实现FCA层[图2(c)]进行深度特征提取和聚合。最后，重构的SR图像由上采样模块生成，该上采样模块依次由卷积- gelu块[13]、像素shuffle层[14]和最后的卷积层组成。

SFE-Net的训练

  1. 对于SFE-Net的训练，我们在每次迭代中随机生成对像差WF （132 × 132像素）及其对应的PSF （33 × 33像素）。(1)和(2)利用多个生物标本的~ 200张原始GT-SIM图像，包括空心网格蛋白包覆坑（CCPs）、内质网（ER）和交叉微管（MTs），以赋予训练模型良好的泛化能力。SFE-Net的整体数据增强工作流程和训练过程如图3所示。对于SFT-DFCAN等SISR模型，我们在每次迭代中随机生成像差WF图像（132 × 132像素）、真地psf图像（33 × 33像素）和相应的GTSIM图像（264 × 264像素）的三组图像作为训练数据集。SFE-Net和SISR模型的目标函数都定义为均方误差，它量化了网络输出与目标图像之间的差异。

  2. 在训练过程中，我们使用初始学习为5 × 10−5的Adam优化器。SFT-Net的学习率在每~ 10,000个小批量迭代后衰减0.5倍，而SFT-DFCAN的学习率遵循余弦退火计划，每12500个小批量迭代重新启动。我们对SFE-Net和SFT-DFCAN分别采用了4和8个批大小。通常情况下，SFE-Net和SFT-DFCAN的总训练迭代次数为15万次和50万次，在RTX 3090 GPU下分别耗时约16小时和30小时。

    在推理阶段，SFE-Net通过将输入图像（512 × 512）分割成若干块来捕获光学像差的空间变化，通常需要不到1.5 s（单个图像patch为30 ms）来生成PSF矩阵（7 × 7 × 33 × 33）。以WF图像和估计的PSF作为输入，训练良好的SFT-DFCAN模型可以在1 s内重建出1024 × 1024像素的无像差SR图像。

验证SFE-Net网络能高精度估计像差PSF

  • 与其他模型估计的PSF进行比较说明SFE-Net网络的高精度性。

PSF和光学像差的先验知识可以提高SISR的性能

  1. 利用估计的PSF进行像差感知图像的超分辨率重建。(a) DFCAN和SFT-DFCAN利用KernelGAN、IKC、MANet和SFE-Net获得的psf重构的代表性SR图像。提供了低分辨率图像和高分辨率GT图像供参考。在每张重建的SR图像的右上角显示相应的估计PSF图像。比例尺、1 μm、0.5 μm（放大区域）。(b) DFCAN和SFT-DFCAN输出的SR图像的PSNR值与KernelGAN、IKC、MANet和SFE-Net估计的psf值的统计比较（n 30）。
  2. SISR网络已经被开发出来，以端到端方式即时增强生物图像的分辨率，而不考虑图像形成模型[9]。最近的研究表明，结合物理先验知识，如PSF，可以提高超分辨率网络的性能。鉴于所提出的SFE-Net从低分辨率图像中识别PSF的卓越能力，我们认为结合PSF和光学像差的先验知识可以提高SISR的性能。为了验证这一假设，我们将SFT层[12]与我们之前提出的DFCAN模型[9]结合起来设计了SFT-DFCAN，该模型利用了像差的PSF信息和傅里叶通道注意机制来增强图像超分辨率的性能。
  3. 特别是在SFT-DFCAN中，特征映射是仿射变换的，通过缩放和移位操作，这些操作取决于估计的PSF和像差，从而使PSF信息能够自适应编码到神经网络中。

附录与补遗

光学像差

  1. 光学像差降低了荧光显微镜的性能。
  2. 传统的自适应光学(AO)利用特定的设备(额外的硬件或复杂的成像程序)从而导致高成本和低采样速率，如Shack-Hartmann波前传感器和变形镜，来测量和纠正光学像差。(自适应光学(AO)包括两个主要部分:像差检测和像差校正。)
  3. 理想的光学成像依赖于激发光的高质量聚焦和荧光样品发射光的精确检测。显微镜中的光学元件和所研究的生物样品都会引入像差，从而导致分辨率下降，荧光光子损失和信号与背景比(SBR)恶化等。例如，成像系统中光学元件的光学制造缺陷或不对准会造成一定的像差，如球面像差和彗差，而生物标本的折射率不均匀性会带来更复杂的像差。
  4. 高数值孔径(NA)的显微镜，特别是超分辨率显微镜，对像差更敏感，因为高NA的物镜更容易受到高阶像差的影响。
  5. 对于一个完善的光学成像系统，在活细胞成像实验中最常见的像差是离焦和球差。这些像差通常是由聚焦平面的漂移、样品的轴向运动以及样品与盖滑移之间的折射率不对准引起的。

PSF

  1. 在光学成像系统中，图像质量和像差通常由它们的点扩展函数(PSF)来表征，它隐含地编码在显微镜图像的任何标本斑块中。
  2. 显微图像PSF的盲估计技术进展有限。原因是双重的。首先，由于复杂的光学系统和样品散射，生物成像遇到的光学像差比商用相机摄影严重得多。其次，直接从生物图像中估计像差PSF本质上是一个不适定问题，使得它在直觉上是不可行的。尽管如此，基于图像的PSF和光像差估计对生物成像有很大的好处，它消除了AO系统中对波前传感器的需求，同时促进了数字像差校正和像差感知的图像超分辨率重建。
  3. 为了解决上述问题，我们首先探索了几种有代表性的有监督或无监督核估计算法来估计生物图像的核，即像差PSF。这些算法包括无监督核生成对抗网络（KernelGAN）[15,18]，迭代核校正（IKC）[12]，以及用于空间变异核估计的监督互仿射网络（MANet）[17]。

关于文献

题目及期刊

题目：Deep Learning-based Optical Aberration Estimation Enables Offline Digital Adaptive Optics and Super-resolution Imaging

​ 基于深度学习的光学像差估计实现离线数字自适应光学和超分辨率成像

期刊：Photonics Research

作者信息

作者：Chang Qiao(清华大学自动化系)

发表时间

日期：2023年11月1日

阅读时间

日期：2024年7月26日-2024年7月27日

2024年11月20日重读

开源代码

https://github.com/HypnosRin/SFE-Net (作者)