论文主体思路

论文主要贡献

首先使用多模态结构照明显微镜(SIM)，提供了一个广泛的LR-SR图像对数据集BioSR，从结构复杂性、信噪比和升级因子等方面评估了深度学习SR模型。
为了进一步提高基于深度学习的超分辨率(DLSR)成像性能，设计了DFCAN和DFGAN架构，它们利用不同特征之间的频率内容差异，在通过网络传播时自适应地重新调整其权重。这种策略使网络能够学习从LR到SR图像的精确层次映射。(该网络利用不同特征之间的频率内容差异来学习不同生物结构高频信息的精确分层表示)
自制的多模态结构照明显微镜(SIM)系统，该系统集成了全内反射荧光(TIRF-SIM)、放牧发生率(GI-SIM)13和非线性SIM14(Methods)，在输入LR图像的广泛信噪比(SNR)水平、观察到的生物结构的复杂性和所需的放大因子范围内获得匹配良好的LR-SR图像对。该数据集被命名为BioSR，并已公开提供。
众所周知，输入LR图像的功率谱被限制在衍射限制频率以下，因此我们推测，利用傅里叶域中不同特征之间的频率含量差异，而不是空间域中的结构差异，可能使基于深度学习的超分辨率(DLSR)网络能够更精确、更有效地学习高频信息的分层表示。

我们采用多模态SIM系统获取网格蛋白包覆凹坑(ccp)、内质网(ER)、微管(mt)和f -肌动蛋白丝的数据集。
WF图像被用作DLSR网络的输入LR图像。
对于每种类型的标本，我们在10个不断升级的激发光强度下获得了大约50组原始SIM图像。特别是，在最高激励水平下，我们确保所有原始图像的信噪比足够高，以重建高质量的SIM图像。将每组原始SIM图像平均为衍射限宽视场(WF)图像，并重构为SR-SIM图像。

SRCNN—SR卷积神经网络，这是最早的具有轻量级配置的SR网络。
增强型深度SR (EDSR)网络—残差卷积块构建深度CNN的最新发展，以实现极大扩展的网络深度。
使用条件GAN(称为Pix2Pix)进行图像到图像的转换，和跨模态GAN (CMGAN)。
为了定量评价不同SR方法的性能，我们将归一化均方根误差(NRMSE)、多尺度结构相似性指数(MS-SSIM)和分辨率这三个指标整合到评估矩阵中，以衡量每种成像条件下SR图像的质量。

设计了DFCAN和DFGAN，它们利用了傅里叶域中不同特征映射的功率谱特征。在每个残差块中，傅里叶通道注意(FCA)机制(图2a)使网络能够根据其功率谱中包含的所有频率分量的综合贡献自适应地重新缩放每个特征映射。相反，空间通道注意(SCA)机制仅利用特征映射的平均强度，相当于零频率(即直流分量)来计算重新缩放因子。
为了测试FCA在SISR任务中是否优于SCA，我们分别在ResNet5、U-net18和DenseNet19的不同网络架构中实现了FCA和SCA机制。我们发现基于fca的网络通常比基于SCA的相应网络提供更少的NRMSE，并且更精确地推断出精细结构(扩展数据图4和方法)。此外，我们证明，尽管DFCAN的参数比RCAN少7倍(补充表1)，但DFCAN更精确地解析f -肌动蛋白细胞骨架的密集交叉区域(图2b)，并且DFCAN图像中的f -肌动蛋白的线扫描轮廓比RCAN图像中的轮廓更接近tg - sim的轮廓(图2c)。统计分析量化了DFCAN在所有三个指标方面通常具有更好的DLSR成像性能，特别是对于高结构复杂性的标本，例如MTs和F-actin(图2d)。