论文主体思路

论文主要贡献

本文提出了一种用于强度和超分辨率光学波动成像（SOFI）显微图像融合的深度学习方法。
超分辨率光学波动成像（SOFI）是基于分析荧光探针自然波动的时间相关性。因此，它通常被用作更灵活的宽场模式，并且不需要样品中的任何特殊制备或发射器的稀疏性。原则上，SOFI的分辨率受到分析波动的顺序的限制。然而，通常情况下，由于发射器之间波动的可变性，SOFI仅用于二阶，从而产生高达两倍的分辨率提高。在这些限制下，SOFI已被证明是一种强大的工具，用于成像广泛的生物结构，包括微管、线粒体和染色质。
开发了一个相当简单的基于物理的深度学习方法来解决基于波动的成像中的图像融合问题。该方法是通用的，并结合了点扩展函数（psf）的物理限制。

我们的目标是将两个信号，高信噪比强度图像和颗粒状SOFI图像相结合，以产生融合图像，平滑从SOFI获得的颗粒状图像，同时保持其高分辨率。在这两个场景中，如果没有Ground Truth或与成像对象信噪比相似的更高分辨率参考，则不能采用直接监督。
该网络由7层卷积神经网络（CNN）组成，采用ReLU激活函数引入非线性。网络的输入是强度和SOFI图像，输出是融合后的图像。融合后的图像被送入两个独立的线性CNN，每个CNN有3个隐藏层。对网络中不同的图像采用不同的损失项。
由于没有对预测信号的直接监督，将其馈送到两个独立的网络中，每个网络的目的是对预测的融合图像应用线性退化，目的是重建两个原始输入信号。
退化可以通过线性变换（也存在加性噪声）进行建模。

二维微管表面的模拟图像，以及与图像右下角GT相比较的相应PSNR。(a)地真二值图像。(b)分布在GT图像上的发射体强度图像。(c)由求和得到图像(b)的时间序列得到的二阶SOFI图像。(d)将(b)和(c)作为输入图像输入网络，对图像(b)和(c)进行训练后得到的融合图像。(e) GT、强度、SOFI和融合图像的径向空间频率分量。(f)强度、SOFI和融合图像相对于GT图像的FRC。
各种模拟图像的空间频率含量如图2(e)所示。融合后的图像在达到噪声水平之前呈现出比SOFI图像更高的频率内容信号。并且在某一点上，在GT频率含量最高的地方，它超过了强度图像。
图2(f)给出了图像相对于地面真值的傅立叶环相关性（FRC）。这可以作为不同图像的频率内容与GT图像相似度的指标。融合后的图像具有较高的相关值，在所有图像中与图像结构的原始频率内容最为相似。

(a)微管的ISM图像。(b)同一场景的SOFISM图像，图像噪声较大。(c)在(a)和(b)上训练的网络的融合图像。(d) (a)(b)(c)的横截面，用绿色虚线标记，显示了SOFISM区分ISM无法分辨的特征的能力，并且表明融合后的图像也可以区分这些特征，信噪比更好。

该网络对用相同设置拍摄的另一对微管图像进行训练。(a)网络训练的强度图像。(b)网络训练的SOFI图像。(c)将图3所示的强度和SOFI图像作为输入，训练后的网络得到的融合图像。(d)在同一场景ISM和SOFISM图像（与图3 (c)相同）上训练的网络得到的融合图像。(e)图3 (c)(d)、(a)、(b)中包含的空间频率信息。

在图像处理和超分辨率重建（Super-Resolution, SR）任务中，缩放因子通常用来表示输入低分辨率（LR）图像和输出高分辨率（HR）图像之间的空间分辨率差异。典型的缩放因子有 2×、4×、8× 等，表示图像在横向和纵向的尺寸被放大2倍、4倍或8倍。

解释：
- 缩放因子 = 2：假设原始低分辨率图像的大小为 100 × 100 像素，经过放大后，高分辨率图像的大小为 200 × 200 像素。
- 缩放因子 = 4：如果低分辨率图像为 100 × 100 像素，则高分辨率图像为 400 × 400 像素。
公式：

HR 图像尺寸 = LR 图像尺寸 × 缩放因子

无。

题目：Improving correlation based super-resolution microscopy images through image fusion by self-supervised deep learning

基于自监督深度学习的图像融合改进相关性超分辨率显微图像

期刊：OE

Beck, Lior M., et al. “Improving Correlation Based Super-Resolution Microscopy Images through Image Fusion by Self-Supervised Deep Learning.” Optics Express 32.16 (2024). Print.

作者：LIOR M. BECK，ASSAF SHOCHER，URI ROSSMAN，ARIEL HALFON，MICHAL IRANI，AND DAN ORON

日期：2024年

日期：2024年11月11日

GitHub：无。