论文主体思路

  1. SIM需要多个原始结构照明(SI)帧来重建超分辨率(SR)图像，特别是散斑SIM的重建需要数百个SI帧，耗时较长。
  2. 本文提出了一种具有已知照明模式的未经训练的结构化照明重建神经网络(USRNN)，以将散斑SIM重建所需的原始数据量减少20倍，从而提高其时间分辨率。利用无监督优化策略和CNN的结构先验，在不需要数据集的情况下从网络中获取高频信息;
  3. SIM使用空间调制的结构照明(SI)模式来照亮样品，样品的高频成分被不均匀的照明模式转移到显微镜的可检测域。为了恢复重叠的频率分量并获得最终的SR结果，需要相机依次捕获样品的一系列原始图像帧。多帧采集降低了成像速度，增加了曝光剂量，导致时间分辨率下降和光漂白。
  4. 未经训练的神经网络在数据集独立性方面具有优越的性能，通常用于正弦SIM重构、帧减少和分辨率增强等领域。

USRNN网络架构

  1. USRNN的框架。在前向传播过程中，首先将随机噪声图像输入到网络中生成初始输出图像(y)，然后将已知的照明模式(patterni, i = 1)输入到网络中。N)，测得的图像帧(xi, i = 1…N)，初始y输入目标函数。在接下来的反向传播过程中，根据目标函数的偏导数更新网络的权值，完成一次迭代。这个迭代一直持续，直到得到最优的输出图像。整个优化过程采用梯度下降法求解，求出目标函数的最小值。

  • 其中y为网络的输出，PSF为光学成像系统的点扩展函数，pattern i (i = 1…N)是第i个SI模式， x i (i = 1…N)为第i个SI图像帧。损失矩阵L2 和Hessian矩阵R Hessian分别对应于物理约束和连续性约束，并通过权重β来平衡它们以保证最优输出。前者计算真实SI帧x i (i = 1…N)之间的均方误差。和模拟输入帧，后者可表示为

  • 式中，Dxx、Dyy、Dxy分别是图像y在水平、垂直、对角三个轴上的离散二阶导数。给定N幅SI图像帧和相应的模式，可以确定目标函数的初始值，经过迭代下降过程，得到最优SR结果。利用物理和网络结构先验，采用无监督迭代优化过程，可以用较少的帧数恢复原始高频信息。

不同模式照射下模拟星状样品的重建

  1. 不同模式照射下模拟星状样品的重建。(a)地真星样和模拟宽视场图像。(b) USRNN重建的散斑图案和SIM图像。(c) USRNN重构的正弦模式和SIM图像。(d)傅里叶变换值与半径R的对比，黑色虚线表示瑞利准则。

散斑照明下100 nm荧光纳米粒子的实验结果

  • 散斑照明下100 nm荧光纳米粒子的实验结果。(a) USRNN重构的宽视场图像和SIM图像。(b)图(a)宽视场和USRNN下感兴趣区域(白虚线框)的放大图像。(c)图(b)中沿白线的强度分布图。(d)宽视场与USRNN的统计分辨率比较，分别通过计算半最大值时的全宽度(FWHM) (n = 10)得到各自的值。比例尺，2µm in (a)和400 nm in (b)

斑点光照下COS-7细胞线粒体的实验结果

  • 斑点光照下COS-7细胞线粒体的实验结果。(a)未经预处理/预处理后USRNN重构的宽视场图像和SIM图像。(b)图(a)中感兴趣区域(白虚线框)在不同模式下的放大图像。(c)面板(b)中沿白线的强度分布图。比例尺，2µm in (a)和300 nm in (b)。

论文主要贡献

附录与补遗

半最大值平均全宽度

  • 半最大值平均全宽度（Full Width at Half Maximum，简称 FWHM）是用于描述函数或曲线特征宽度的一种度量。具体来说，它表示曲线从最大值下降到一半最大值处的两个点之间的距离，通常用于表示曲线的“宽度”或“扩展程度”。FWHM 常用于分析各种科学领域中的峰形信号，如光谱学、信号处理、生物学成像等。
  • 在 FWHM 中，“半最大值”指的是峰值的一半，“全宽度”是指在这个半最大值处的宽度。因此，FWHM 提供了一个标准化的方式来比较不同曲线的宽度，无论它们的形状是否相同。例如，在光谱分析中，可以用 FWHM 来比较不同信号峰的锐度或分辨率。

论文中可以引用的部分

无。

关于文献

题目及期刊

题目：Untrained neural network enabling fast and universal structured-illumination microscopy

未经训练的神经网络实现快速和通用的结构照明显微镜

期刊：OL

引用

  • Ye, Zitong, et al. “Untrained Neural Network Enabling Fast and Universal Structured-Illumination Microscopy.” Optics Letters 49.9 (2024): 2205-08. Print.

作者信息

作者：Zitong Ye, Xiaoyan Li, Yile Sun

发表时间

日期：2024年

阅读时间

日期：2024年10月7日

开源代码及其它

GitHub：https://github.com/ZJUOPTKuangLab/USRNN (作者)