论文主体思路

论文主要贡献

  1. 制作了一个设计的PDF衬底，表面等离子激元（SPPs）照亮衬底上的样品。基于所设计的衬底和检测光学元件的参数，通过预训练的卷积神经网络（CNN）对样品散射光形成的暗场图像进行进一步处理。我们演示了在各种无标签对象上的分辨率提高了2.8倍。
  2. 在离子体暗场显微镜（DAPD）中，设计的等离子体衬底用于产生具有大波矢量的SPPs作为暗场照明。样品在衬底上散射的SPPs成为远场可检测的，并形成衍射受限的暗场图像，其中包含物体上的高k信息。利用预训练的神经网络对衍射受限等离子体暗场图像进行处理，得到超分辨暗场图像。
  3. 在传统的DFM中，斜向暗场照明光产生一个暗场环，不能进入物镜。物镜只收集来自物体的散射光束以形成无背景图像。因此，物体平面上的照明波矢量略大于检测数值孔径（NA），但始终小于k0，即照明光的自由空间波矢量。

DAPD工作原理示意图

  1. 由于光照波矢量的限制，分辨率的提高被限制在2倍。
  2. 如图1a所示，DAPD基板由2层组成，包括发光层和SPP模式支撑层。该发光层（200 nm厚）由透明聚合物与荧光染料混合而成。聚合物中受激发的荧光染料在发射波长处直接耦合到金膜的SPP模式，在每个可能的平面方向上都有SPP k向量金膜上耦合的SPP起到照明作用，只有样品在倏逝波范围内散射，物镜才能采集到SPP。因此，所获得的图像中背景仍然是暗的，这使其成为暗场图像重要的是，在等离子体暗场衬底下，光波矢量由SPP模式的k矢量决定，k矢量总是大于自由空间k0。由于在远场中无法直接检测到SPP波，因此无论在检测中使用何种物镜，该照明方案都确保了干净的暗场背景。
  3. DAPD工作原理示意图。(a) DAPD衬底示意图。投射在基片上的激光激发了荧光发射层（PMMA中的R6G）。R6G发射光在顶金表面耦合成SPP模式。在Au薄膜顶部的样品被spp照射。散射光被物镜检测并形成暗场图像。(b) SPP照明光、自由空间k向量（k0）、衍射极限检测范围与实际采集到的物体信息之间的傅里叶空间关系。(c)以单帧低分辨率PDF图像作为输入，通过预训练CNN重构超分辨率dpd图像。
  4. 在DAPD中，更高的空间频率信息被编码在衍射受限的图像中。与合成孔径法类似，高k光照SPP将物体上的高空间频率信息转移到有限的检测带宽中。如图1b所示，傅里叶空间中的SPP模式是一个k向量高于物镜检测距离和自由空间k0的环。在衍射极限暗场图像中检测和编码的对象信息是傅里叶空间中的甜甜圈，如图1b所示。在傅里叶空间中，照明、成像系统检测和被检测物体信息之间的关系可以用数学形式表示如下公式，式中，Od为被检测目标信息的傅里叶谱，ISPP为照明SPP模式的傅里叶谱，H为成像系统的相干传递函数。因此，将成像的有效数值孔径（NAeff）定义为NAeff = NAobj + NASPP，其中NAobj为物镜的数值孔径，NASPP为照明SPP模式的数值孔径。因此，DAPD原始图像比正常的暗场图像包含更高分辨率的物体信息。

等离子体暗场衬底设计

  • (a)等离子体暗场衬底示意图。(b)不同Au厚度和不同入射角下R6G发射反射率。PMMA的最小反射率出现在46.5°入射处，对应于SPP模式下的1.1k0

  • 在等离子体暗场衬底中，如图S1(a)所示，PMMA中R6G的荧光发射耦合到Au薄膜的SPP模式中。设计Au膜的厚度是实现耦合效率最大化的关键。我们考虑p偏振光用于SPP模式的耦合。根据菲涅耳方程，两种材料界面处的透射系数和反射系数可计算为：

  • 其中𝑛1和𝑛2分别为材料在界面前后的折射率，𝜃1为入射角，𝜃2为折射角，满足1 1 2 2 sin sin n n =。因此，PMMA-Au-Air多层界面的透射和反射系数可计算为：

  • 式中𝑡01和𝑡12分别为PMMA-Au界面和Au-air界面处的透射系数，𝑟01和𝑟12分别为PMMA-Au界面和Au-air界面处的反射系数，1 1 01 cos z kn k = q为k矢量的法向分量，d为Au膜厚度。考虑R6G的发射波长为~570 nm。为了使SPP耦合效率最大化，我们对Au膜的厚度进行了扫描。计算了结构的反射率和透过率，如图S2 (b)所示。SPP耦合的最佳条件对应于入射光的最小反射率，当金的厚度为40 nm时，该反射率出现在入射角≥46.4°处。考虑入射材料PMMA的折射率，SPP模式的k向量为0 0 1.5 sin 1.1 SPP i k k k =´×»q。因此，我们在d=40 nm处完成了Au膜的设计。

数据集生成与重建性能的仿真

  1. 数据集生成与重建性能的仿真方法。(a)生成带有随机物体的地真超分辨率图像。(b)地面真值信息的傅里叶空间处理。SPP模式照明将物体上的高k信息转移到检测波段，形成图(c)中衍射受限的PDF图像。（d, g）模拟边缘和散射粒子的低分辨率PDF图像，用于网络性能测试。（e, h）网络输出超分辨率DAPD图像。（f, j）对象基础真值。标尺= 1 μm
  2. 在超分辨率显微镜中，获得地面真实图像尤其具有挑战性。在这项工作中，考虑到正演成像模型已知，我们基于等离子体衬底和成像系统的设计，采用仿真方法估计任意给定物体的低分辨率等离子体暗场图像，如图2a - c所示。在DAPD中，Au薄膜上的SPP模式照射样品，并通过成像系统检测散射光束。由于非相干荧光照明，PDF图像可以计算为每个SPP模式下图像的叠加。对于给定的对象，低分辨率PDF图像可以估计为式2，式中，U为目标空间信息的傅里叶谱，H为成像系统的相干传递函数，kspp，i为SPP模式在不同方向的k向量，m为SPP模式的总数，n为加性高斯白噪声（信噪比(S/ n) = 35）。通过总结不同SPP模式照明产生的图像强度来计算最终的PDF图像。利用MATLAB R2020b对仿真图像数据集进行了数值生成和处理。如图2b所示，m越大，估计越准确。

数据集仿真中的光照近似

  1. 为了模拟等离子体暗场图像，我们首先在MATLAB中以数值方式生成地面真值图像，创建类似于暗场图像典型边缘特征的结构（如线和点）。然后使用傅里叶变换将这些真实图像转换到傅里叶空间中。得到的傅里叶谱根据相应的照明k向量进行移位。然后将相干传递函数应用于对象的位移傅立叶谱。通过对所有照明角度的傅里叶光谱求和并进行傅里叶反变换，我们获得了无噪声的等离子体暗场图像。最后，在图像中加入不同信噪比的高斯噪声作为训练数据。
  2. 在PDF数据模拟中，SPP照度被视为不同角度的照度，独立计算。计算的照明角度(m)的个数影响着PDF模拟的精度。我们对比了不同m下的模拟PDF图像，如图S2所示。当m=5时，有效相干传递函数（CTF）将无法覆盖傅里叶空间中的整个环，从而在仿真图像中引入不希望的强度变化。当m=10时，傅里叶空间中的CTF环是完整的。然而，环内强度的不连续仍然会影响模拟图像的强度均匀性。当m增大到30时，傅里叶空间的不连续大大减弱，PDF图像质量得到改善。当我们继续增大m时，模拟的质量并没有明显的提高，因此在本研究中我们使用m=30
  3. m对模拟等离子体暗场图像的影响。（a-d）不同光照角数（m=5、10、30和50）下等离子体暗场模拟的有效相干传递函数。（e-h）对应的仿真PDF图像。标尺：1 μm

网络模型与损失函数

  1. 3000对模拟图像用于训练，批大小设置为15。输入图像被裁剪为256 × 256的大小。在使用模拟数据集进行训练后，我们使用以前未见过的模拟图像测试网络性能。如图2d−1所示，衍射受限的PDF图像被成功地重构为物体的超分辨率暗场图像。利用结构与相似指数度量（SSIM）和峰值信噪比（PSNR）比较网络输出和地物真实度对重建图像进行评价，SSIM为0.9885±0.008，PSNR为33.049±0.019 dB。

傅里叶频谱和分辨率分析

  1. 图像的傅里叶分析。(a)衍射极限PDF图像的傅里叶变换。(b)超分辨率dpd图像的傅里叶变换。(c)同一COS-7细胞的网络输出图像的傅里叶环相关。
  2. 为了证实DAPD分辨率的提高，我们对PDF原始图像和网络输出的DAPD图像的傅里叶谱进行了分析，分别如图S5(a)和S5(b)所示。将图像中的轴转换成相对于自由空间横向部分的空间频率，其中NAobj 为成像系统的数值孔径，λ为光的波长。图S5(a)中的黑色圆圈对应0.1 × k，图S5(b)中的黑色圆圈对应0.8 k。我们还使用公式计算了图S5 (c)中PDF图像与DAPD图像之间的傅立叶环相关性（FRC），其中F1为PDF图像的傅里叶变换，F2为dpd图像的傅里叶变换，ri∈r 为图像频域半径为i的环。本实验采用0.6NA物镜，荧光发射峰在~570 nm处。1/7 FRC阈值显示分辨率为170 nm，与衍射极限相比，分辨率提高了2.8倍。

200 nm聚苯乙烯微球

  1. 我们通过成像直径为200 nm的聚苯乙烯珠（Invitrogen， USA）来证明DAPD的分辨率提高。成像前，将微珠稀释10倍，滴投于DAPD底物上。底物在倒置显微镜（IX83型，Olympus）下成像。我们使用多模光纤引导的532 nm激光作为照明，激发聚甲基丙烯酸甲酯（PMMA）中的罗丹明6G （R6G）。多模光纤连接在一个旋转的偏心电机上，以消除照明中的斑点。然后用40×/0.6NA物镜采集散射信号，然后在相机前放大4倍。考虑kspp≈1.1k0，我们得到DAPD显微镜的NAeff≈1.7。采用532 nm陷波滤波器（Semrock）和以588 nm为中心的20 nm带通滤波器（Semrock）阻断激光传输。图3所示的图像是用CCD相机（iXon 897, Andor）记录的，并通过训练好的神经网络进行处理。预计低分辨率图像的分辨率为~ 500 nm。图3c ~ h中的网络输出图像表明，可以清晰地分辨出直径为~ 200nm的聚苯乙烯珠。如图3j所示，双高斯拟合应用于珠子的高分辨率输出图像，显示190 nm的中心到中心距离，对应于~ 2.8倍的分辨率提高，符合理论估计。
  2. 利用200 nm聚苯乙烯微球对dpd进行了实验论证。（a, b, e, f）神经网络处理前的低分辨率PDF图像。（c, d, g, h）超分辨率dpd重建图像。(i)图(a)和(c)中以一对箭头线标记的目标的横截面轮廓。(j)图(e)和(g)中以一对箭头线标记的目标的横截面轮廓。黑线表示原始的低分辨率PDF图像。红色圆圈表示输出图像像素。红色实线表示两个高斯函数的拟合曲线，蓝色虚线表示每个头的单个高斯曲线。标尺= 1 μm。

COS-7细胞

  1. 虽然网络在训练过程中没有遇到COS-7细胞，但仍然取得了令人称道的重建效果。图4b−d和图4h−j显示了COS-7细胞未经处理的等离子体暗场（PDF）图像，由于衍射极限，这些图像显得模糊。相比之下，网络的输出如图4e−g和4k−m所示，可以清楚地分辨出靠近衬底表面的细胞特征，小到200nm的结构也可以清晰地识别出来。其他数据，包括傅立叶谱比较和傅立叶环相关结果，如图S5所示。为了说明DAPD实现的分辨率增强，我们还将DAPD重建结果与使用Lucy−Richardson反卷积算法获得的结果进行了比较，如图S6所示。
  2. 用细胞实验数据训练网络性能。(a)单个COS-7单元的PDF图像。左上为衍射极限PDF图像，右下为网络处理后的DAPD图像。（b−d, h−j）用40x /0.6NA物镜获得的衍射受限PDF图像。（e−g, k−m） DAPD超分辨图像。比例尺=面板(a)为2 μm，其他面板均为1 μm。所有的横截面轮廓都被放大了两倍，以便更好地可视化。

附录与补遗

论文中可以引用的部分

关于文献

题目及期刊

题目：Deep Learning Assisted Plasmonic Dark-Field Microscopy for SuperResolution Label-Free Imaging

深度学习辅助等离子体暗场显微镜超分辨率无标记成像

期刊：Nano Lett

引用

  • Lei, M., et al. “Deep Learning Assisted Plasmonic Dark-Field Microscopy for Super-Resolution Label-Free Imaging.” Nano Lett 24.49 (2024): 15724-30. Print.

作者信息

作者：Ming Lei，Junxiang Zhao，Ayse Z. Sahan，Jie Hu，Junxiao Zhou，Hongki Lee，Qianyi Wu，Jin Zhang，and Zhaowei Liu

发表时间

日期：2024年

阅读时间

日期：2024年12月13日

开源代码及其它

GitHub：无。