论文主体思路

论文主要贡献

  1. 提出了一个基于CNN的U_Net框架，用于在不修改标准暗场显微镜(DFM)设置的情况下，通过检索斜照射获得的高空间频率信息来实时提高单帧DFM图像的分辨率。
  2. 利用已知的DFM正演过程，我们在不需要实验图像的情况下，根据光学装置的参数，数值生成训练数据集。在模拟数据集上训练网络，检索编码在暗场图像中的高空间频率信息。(一种基于合成孔径思想的仿真方法，在了解物镜NA、照明角度和工作波长等光学知识的情况下，生成低分辨率和超分辨率DFM图像对)
  3. 训练完网络后，评估了它在未见过的模拟图像上的性能。用50×/0.55 NA物镜获得的100 nm聚苯乙烯珠对暗场图像进行了超分辨率重建实验。此外，分别对相位目标和HeLa细胞的暗场图像进行超分辨率图像重建。

暗场显微镜工作原理

  1. 在DFM中，照明的中心部分被暗场环遮挡，如图1(a)所示。照射光通过聚光镜后，光线变得倾斜，以一定角度照射在样品上，此时物镜只能收集来自物体的散射光。
  2. 根据合成孔径的思路，傅立叶空间中环形对应的角度照明模式将物体的高空间频率信息转移到物镜的检测带宽中，如图1(b)所示。
  3. 光学系统可获得的最高空间频率信息受照明和检测物镜的数值孔径(NA)的共同限制。高空间频率信息被编码在衍射极限暗场图像中。因此，通过检索编码的高空间频率信息，可以从检测到的低分辨率图像重构出超分辨率图像(见图1(c))。

模拟生成数据集

  1. 在非相干光照明下，暗场图像可以看作是每个点源照明在照明暗场环上产生的多个离轴图像的叠加。每个角度照明将物体对应的高空间频率信息转移到物镜的检测带宽中，该带宽为图2(a)的子集所示的傅立叶平面低通滤波器。考虑非相干光照，最终的低分辨率暗场图像ILR可视为各角度光照下的图像之和。近似计算为：

  1. 同样，包含目标所有可探测高频信息的超分辨率暗场图像ISR可以计算为：

不同数据集上的复原效果

聚苯乙烯珠

HeLa细胞

U_Net网络

网络结构

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import torch
import torch.nn as nn

def double_conv(in_channels, out_channels):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, 3, padding=1),
        nn.ReLU(inplace=True),
        nn.Conv2d(out_channels, out_channels, 3, padding=1),
        nn.ReLU(inplace=True)
    )   


class UNet(nn.Module):
    def __init__(self, n_class):
        super().__init__()
                
        self.dconv_down1 = double_conv(1, 64)
        self.dconv_down2 = double_conv(64, 128)
        self.dconv_down3 = double_conv(128, 256)
        self.dconv_down4 = double_conv(256, 512)        

        self.maxpool = nn.MaxPool2d(2)
        self.upsample = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True)        
        
        self.dconv_up3 = double_conv(256 + 512, 256)
        self.dconv_up2 = double_conv(128 + 256, 128)
        self.dconv_up1 = double_conv(128 + 64, 64)
        
        self.conv_last = nn.Conv2d(64, n_class, 1)
        
        
    def forward(self, x):
        conv1 = self.dconv_down1(x)
        x = self.maxpool(conv1)

        conv2 = self.dconv_down2(x)
        x = self.maxpool(conv2)
        
        conv3 = self.dconv_down3(x)
        x = self.maxpool(conv3)   
        
        x = self.dconv_down4(x)
        
        x = self.upsample(x)        
        x = torch.cat([x, conv3], dim=1)
        
        x = self.dconv_up3(x)
        x = self.upsample(x)        
        x = torch.cat([x, conv2], dim=1)       

        x = self.dconv_up2(x)
        x = self.upsample(x)        
        x = torch.cat([x, conv1], dim=1)   
        
        x = self.dconv_up1(x)
        
        out = self.conv_last(x)
        
        return out

附录与补遗

暗场显微镜

  1. 光线照射方式：在暗场显微镜中，光线不是直接通过样本照射到观察者的眼睛，而是以一定角度斜射入样本。只有被样本散射或反射的光进入观察视野，直接光线则被阻挡。这使得背景变暗，而样本的边缘和细节由于散射光而明亮。
  2. 高对比度：由于背景是黑暗的，而样本在黑暗的背景上发光，暗场显微镜提供了高对比度的图像。这有助于观察微小和透明的生物样本，如细菌、血液样本中的细胞、以及其他微生物。
  3. 无染色观察：暗场显微镜可以在无需染色的情况下观察样本，适用于不想改变或破坏样本的实验。

无标签成像技术

无标签成像技术是指在不使用荧光或其他标记物标记样本的情况下，对生物样本或材料进行成像的技术，可以在不改变样本化学成分或结构的情况下，提供样本的高分辨率和高对比度图像。以下是几种常见的无标签成像技术：

  1. 相差显微镜（Phase Contrast Microscopy）：这项技术通过将样本不同区域的光线相位差转换为亮度差异，从而增强样本中细微结构的对比度。这使得研究者可以在不使用染料的情况下观察活体细胞和组织。
  2. 差分干涉对比显微镜（Differential Interference Contrast, DIC）：DIC显微镜使用两束偏振光，经过样本后再相互干涉，产生三维立体效果。这种方法可以提供高分辨率的无染色样本的清晰图像。
  3. 共聚焦显微镜（Confocal Microscopy）：通过使用光学切片技术和激光扫描，共聚焦显微镜能够在不使用荧光染料的情况下获得样本的高分辨率图像。这对于观察活体样本的细微结构非常有用。
  4. 相干反斯托克斯拉曼散射（Coherent Anti-Stokes Raman Scattering, CARS）显微镜：CARS显微镜利用拉曼散射技术，根据样本分子振动特性生成图像。由于该技术依赖于样本本身的化学特性，因此无需染色或标记。
  5. 光学相干断层扫描（Optical Coherence Tomography, OCT）：OCT是一种使用近红外光来获取样本微观结构的成像技术。它在医学领域中广泛应用，特别是眼科和心脏病学。
  6. 电子显微镜技术：扫描电子显微镜（SEM）和透射电子显微镜（TEM）能够在超高分辨率下观察样本的表面和内部结构，而不需要对样本进行化学标记。

关于文献

题目及期刊

题目：Super resolution label-free dark-field microscopy by deep learning

基于深度学习的超分辨率无标签暗场显微镜

期刊：Nanoscale(二区)

作者信息

作者：Ming Lei

发表时间

日期：2024年1月23日

阅读时间

日期：2024年8月16日

开源代码及其它

地址：https://github.com/ML-UCSD/DLDFM