论文主体思路

论文解决的问题

  1. 噪声会明显降低结构照明显微镜（SIM）图像的质量，尤其是在光线很弱的时候。虽然一些使用监督学习（也就是通过已经标记的数据来进行训练）的去噪方法在去除噪声引起的图像伪影方面取得了很大进展，但这些方法需要大量高质量的训练数据。这就成了一个主要的限制，因为获取这些数据并不容易。

论文主要贡献

  1. 为SIM开发了一个基于像素重新对齐的自监督去噪框架(PRS-SIM)，该框架仅使用噪声数据训练SIM图像去噪器，重建无伪影的SR-SIM图像，荧光比常规SIM成像条件少20倍。

PRS-SIM原理图

  1. PRS-SIM的自监督训练策略。a）通过对噪声低分辨率(LR)原始SIM图像组y进行像素对齐操作，生成4个匹配的图像组yA、yB、yC和yD，然后使用常规SIM算法重构4个超分辨率(SR)图像，并将其随机排列作为神经网络训练的输入和目标。
  2. b）PRS-SIM推理管道。首先利用传统的SIM算法将带噪声的原始SIM图像组重构为带噪声的SR图像。然后将该带噪SR图像输入到预训练的PRS-SIM模型中，生成相应的无噪SR SIM图像。

PRS-SIM与其它现有方法的比较

  1. 用Conv. SIM、Sparse-SIM和PRS-SIM对网格蛋白包被的凹坑(CCPs)、微管(MTs)和内质网(ER)进行重建和处理。提供了相应的WF和GT-SIM图像供参考。
  2. b）MT样品的WF、PRS-SIM和GT-SIM图像的傅里叶光谱。虚线圈为截止频率。(对应94 nm的空间频率)
  3. c）PRS-SIM、Conv. SIM和Sparse-SIM的定量比较。参考GT-SIM图像计算PSNR和SSIM值(每个数据点N=40)。
  4. d）b中WF、PRS-SIM和GT-SIM图像的Fourier环相关曲线中Conv. SIM(蓝色)、Sparse-SIM(绿色)、PRS-SIM(红色)和GT-SIM(棕色)沿黄色箭头所示直线的强度分布。根据截止频率计算分辨率，FRC阈值为0.24。

附录与补遗

论文中可以引用的部分

基于深度学习的SIM算法的现有挑战

  1. 一些现有技术采用“端到端”方案，直接将宽场或原始SIM图像转换为SR-SIM图像，而不充分利用由照明模式调制的高频信息，即摩尔条纹。因此，整个框架退化为SR推理任务(称为“图像超分辨率”)，而不是分析SR重建，这可能会受到光谱偏差问题的影响，并导致分辨率受损。
  2. 构建训练数据集需要大量匹配良好的低信噪比和高信噪比图像对，这对于低荧光效率或高动态的生物标本来说是费力的，甚至是不可行的。
  3. 神经网络的泛化能力受到限制，因为在监督训练方案中，预训练好的去噪模型不能可靠地转移到只有噪声数据的未知领域，这抑制了对前所未有的生物结构和生物过程的发现。

傅里叶环相关

  1. FRC（Fourier Ring Correlation，傅里叶环相关）是一种用来评估图像分辨率的方法，特别是在显微镜成像和结构照明显微镜（SIM）等领域中经常使用。
  2. 它的基本原理是将同一对象的两幅独立图像（通常是同一样本的两次不同采集）转换到傅里叶空间，然后比较它们在不同频率下的相关性。通过计算傅里叶空间中不同频率环（圆环状区域）之间的相关性，FRC可以评估图像在不同分辨率下的一致性，从而确定图像的分辨率极限。
  3. 简单来说，FRC就是一种评估图像质量和分辨率的方法，通过比较两幅图像在不同频率上的一致性，来判断图像能达到的最佳分辨率。

关于文献

题目及期刊

题目：Self-supervised denoising for multimodal structured illumination microscopy enables long-term super-resolution live-cell imaging

多模态结构照明显微镜的自监督去噪使长期超分辨率活细胞成像成为可能

期刊：PhotoniX

作者信息

作者：X. Chen，Chang Qiao

发表时间

日期：2024年

阅读时间

日期：2024年9月5日

开源代码及其它

GitHub：https://github.com/IntellM-THUIBCS/PRS-SIM (作者)