论文主体思路

论文主要贡献

  1. 使用分辨率缩放误差（RSE）和分辨率缩放皮尔逊系数（RSP）来量化恢复质量。
  2. 使用基于去相关分析的方法量化了每种方法的分辨率。
  3. 从给定的细胞内结构训练的模型在用于检查其他结构时产生了显著的伪影（补充图8）。我们应用迁移学习，以最大限度地减少将预训练网络适应其他结构时的工作量（方法）。
  4. 使用深度学习以更少的输入图像和更低的强度和/或更短的曝光产生高质量的SIM图像，定量地表明深度学习可以达到与传统SIM重建算法相当的分辨率。
  5. 使用Fiji / ImageJ 中的Image Decorrleation Analysis插件估算每张裁剪图像的分辨率，并使用默认参数设置。

U-Net网络架构

  • 两个u - net通过跳层连接堆叠在一起。以15张低光照条件下的SIM原始图像作为输入，以正常光照条件下的SIM重建图像作为地面真值对网络进行训练。

使用U-Net进行超分辨率成像

  1. a）使用15或3张SIM原始数据图像作为输入，并使用15张图像的相应SIM重建作为地面真值来训练U-Net。Θ：正弦图案照明的角度；ψ：图案照明的相位。b）不同亚细胞结构的重建结果。所示为15张SIM原始数据图像的平均投影（第一列）、传统SIM重建算法的重建结果（第二列）、U-Net-SIM15输出（第三列）、U-Net-SIM3输出（第四列）以及每张图像中沿虚线的线条轮廓（第五列）。在线形图中，平均值显示在右y轴上，所有其他平均值共享左y轴。R表示分辨率。所示为从补充表1所示的测试数据集中随机选取的代表性图像。训练数据集收集自至少三个独立的实验。c）估计不同方法所达到的分辨率（源数据作为源数据文件提供）。MT微管（n = 204）；抗利尿激素。粘连（n = 32）；水户。线粒体（61例）；的行为。f -肌动蛋白（n = 85）。一个平均水平;S SIM重构；U15 U-Net-SIM15;U3 U-Net-SIM3。图中显示框须图，异常值用圆点表示（方法）。比例尺：1 μm。

在极端弱光条件下的超分辨率成像

  1. a）两个u - net通过跳层连接堆叠。以低光照条件下拍摄的15张SIM原始数据图像作为输入，以正常光照条件下相应的SIM重建图像作为地面真值，对scU-Net进行训练。b）不同亚细胞结构的重建结果(第一行：微管；第二排：粘接剂；第三行：线粒体；第四行：F-actin)。所示为15个SIM原始数据的平均投影（第一列），传统SIM重建算法的重建结果（第二列），U-Net-SIM15输出（第三列），su - net输出（第四列），以及正常光照条件下SIM重建的真实情况（第五列）。所示为从补充表1所示的测试数据集中随机选取的代表性图像。训练数据集收集自至少三个独立的实验。局部放大显示修复质量。比例尺：1 μm。

网络架构和培训细节

  • U-Net-SIM15和U-Net-SIM3、UNet-SNR和U-Net-SRRF共享相似的网络架构（补充图1），它们只是输入或输出（地真值）数据集的通道数不同(U-Net-SIM15: Cin = 15, Cout = 1；U-Net-SIM3: Cin = 3, Cout = 1；U-Net-SNR: Cin = 15, Cout = 15；U-Net-SRRF: Cin = 5, Cout = 1；Cin和Cout分别是输入和输出的通道数)。对于UNet-SNR，我们以弱光条件下获取的15张SIM原始数据图像作为输入，正常光照条件下的相同样本作为地面真值。

迁移学习

  • 直接将在一个特定结构上训练的模型应用到其他结构上可能会产生重要的伪影（补充图8），这意味着每个目标都需要一个独特的模型。理论上，我们需要准备1000个训练样本，并在消费级显卡（NVIDIA GTX-1080 GPU）上训练网络2-3天（2000个epoch），以获得我们测试的每个结构的工作模型。我们采用迁移学习（transfer learning）来减少对新结构进行成像的工作量。简而言之，我们将从预训练网络中获得的参数初始化一个新网络，并开始在一个不同的结构上使用较小的训练样本大小（200个裁剪补丁）进行再训练。我们验证了迁移学习在恢复不同结构方面的有效性。即使减少了训练工作量（200次），新模型产生的结果与使用更大的数据集和更大的训练工作量训练的模型相当（补充图9）。

scU-Net用于活细胞成像

  1. a）活细胞微管重建结果。显示了一个代表性的时间点。U-Net-SIM15缺失的结构通过scU-Net恢复（白色箭头）。第一个面板显示了15张SIM原始图像的平均投影；第二张图为SIM重构图；第三个面板显示U-Net-SIM15输出；第四个面板显示scU-Net输出。N = 3，来自三个独立实验。b）所示为a中白虚线框所示区域的放大视图。scUNet很好地恢复了单个微管（白色三角形）的动力学。c） scU-Net揭示了微管-线粒体相互作用的动力学。第一行：15张SIM原始图像的平均投影；第二行：SIM重构；第三行：scU-Net输出。N = 3，来自三个独立实验。比例尺：1 μm。

附录与补遗

不同结构的数据集的大小

U-Net-SIM性能的定量评估

论文中可以引用的部分

关于文献

题目及期刊

题目：深度学习使结构照明显微镜具有低光照水平和增强的速度

Deep learning enables structured illumination microscopy with low light levels and enhanced speed

期刊：Nature Communications

引用

  • Jin, L., et al. “Deep Learning Enables Structured Illumination Microscopy with Low Light Levels and Enhanced Speed.” Nat Commun 11.1 (2020): 1934. Print.

作者信息

作者：Luhong Jin，Bei Liu，Fenqiang Zhao，Stephen Hahn，Bowei Dong，Ruiyan Song，Timothy C. Elston，Yingke Xu & Klaus M. Hahn

发表时间

日期：2020年

阅读时间

日期：2024年11月21日

开源代码及其它

GitHub：https://github.com/drbeiliu/DeepLearning

http://hahnlab.com/tools/