论文主体思路

论文主要贡献

  1. 应用深度学习框架来提高具有规则形状但排列不同的金属纳米结构的光学成像的空间分辨率。
  2. 以随机分布的金纳米粒子的光学图像作为输入，相应的扫描电镜图像作为真值，构建卷积神经网络(CNN)并对其进行预训练。
  3. 提出了一种深度非局部U-net，它将非局部去噪模块融入到众所周知的U-net体系结构中。这种集成使我们的网络能够隐式地将跨多个尺度的自相似先验与U-net结构结合起来，并通过非局部去噪模块显式地揭示跨单个尺度的非局部自相似。我们提出的网络对于将衍射受限的光学图像转换为类似SEM的超分辨率图像的特定任务特别有效。

图像采集原理图

  1. 以金纳米粒子(AuNPs)为例，展示了用于光学图像超分辨率重建的深度学习反卷积模型。通过安装在暗视场光学显微镜上的科学相机收集AuNPs的光学显微照片，如图1(a)所示。从AuNP的衍射图(图1(b))可以看出，如果粒子间距离低于瑞利准则(∆= 0.61λ/NA)，则无法区分紧密分布的AuNP二聚体。然而，这些衍射模式的强度分布仍然存在许多差异，为纳米颗粒排列的反向恢复提供了很多信息。

深层卷积神经网络的架构设计

  1. 设计了一个CNN来建立光学衍射图像与粒子尺寸之间的非线性投影。
  2. 所提出的网络架构结合了由非局部去噪模块构成的显式非局部先验和由U-net结构构成的隐式非局部先验，如图2(a)所示，U-net建立在四尺度编解码U-net上，每个尺度都有一个跳过连接。在第三个尺度中，我们为编码器和解码器插入非局部去噪模块。

数据集的分配

  1. 将光学和扫描电镜图像裁剪成480对400 × 400像素的不重叠子图，其中360对用于训练，其余用于测试。

纳米粒子多聚体和纳米线的超分辨率

image-20240908213629560

网络训练时的损失曲线

  1. 所提出的CNN算法的通用性需要进一步验证用于其他类型的纳米结构。为此，我们还利用深度学习模型从模糊的光学图像中重建随机交联银纳米线的形态(图7)。银纳米线的直径为~ 100 nm，长度为~ 10 μ m。
  2. 如图7(a)所示，银纳米线随机分布在衬底表面。纳米线网表现出许多相互作用，这些相互作用不可避免地影响了所得到的光学衍射图。
  3. 很明显，复杂的纳米线网的大部分部分都被准确地恢复了。然而，在纳米线网相交区域附近，微小的差异是明显的。此外，在某些密集的区域内，较细的纳米线容易产生误判，导致输出纳米线产生微小的波纹。为了更清楚地说明这些挑战，我们提供了两个特定局部区域的放大图片，如图7(d)和7(e)所示。
  4. 此外，我们给出了在网络训练过程中观察到的损失曲线，表明损失随着epoch的增加逐渐减小并收敛(图7(f))。
  5. 需要注意的是，在这项工作中设计CNN算法的动机是为了提高光学显微镜对常见的规则形状的人工纳米结构(如圆盘、球体和线等)的分辨率，因为这些几何形状经常用于在纳米材料、纳米光子学、纳米电子学甚至纳米力学领域构建更复杂的纳米图案。

附录与补遗

论文中可以引用的部分

  1. 过去几十年中，光学超分辨率显微镜的研究主要集中于突破衍射极限，尤其是远场荧光显微镜（如PALM、STORM、STED、SIM）在生物成像中取得了几纳米的分辨率。然而，这些方法依赖荧光标记，限制了其在无机样品中的应用。当前的挑战是为人工纳米结构等无机样品开发一种简单、非侵入式的超分辨率成像技术。
  2. 传统远场光学成像受到阿贝衍射极限的限制，这主要是由于样品表面的指数衰减倏逝波所携带的图像信息的损失。一些光学“硬件”创新，如能够收集全波信息的超级透镜，有望打破分辨率的限制。然而，目前这些超材料光学元件距离实际应用还有很长的路要走，许多技术难题尚未解决，如准近场工作距离等。
  3. 计算方法在光学显微照片的超分辨率重建中也发挥了重要作用。例如，荧光图像的光学模糊可以通过样品散射场与非相干成像系统的点扩展函数的卷积来表述。应用适当的反卷积算法，可以从物体的模糊图像中反向恢复物体的精细结构。对于相干成像系统，基于傅里叶光学和信息理论，已经提出了许多反卷积算法，如带宽外推和压缩感知，用于亚波长结构的超分辨率认知。
  4. 用于逆图像恢复的网络必须使用广泛的已知数据进行预训练。因此，数据驱动模型缺乏通用性。此外，深度学习网络的“黑箱”性质引发了人们对网络可以得出的基础物理完整性的担忧。因此，更多的研究旨在将物理约束纳入深度神经架构，以减少对大量训练数据集的依赖。
  5. 除了网络训练的数据采集问题外，设计良好的CNN对于将计算图像解卷积为高分辨率图像也起着至关重要的作用。直接应用常见的完整CNN架构可能会遇到通用性问题，即训练好的CNN模型严重依赖数据并且缺乏模型可解释性。解决这个问题的一种方法是在CNN设计过程中考虑专家领域知识。这种基于知识的CNN在使用稀疏训练数据的同时，期望具有更高的通用性，以已知的物理先验作为约束训练的手段。在各种领域知识中，非局部自相似是大多数图像恢复任务的通用先验，因此得到了广泛的研究。最近，有研究指出，具有跳过连接的U-net架构自然地在多个尺度上施加自相似性。另一方面，为了利用这种跨空间域的非局部自相似的固有特性，提出了非局部去噪模块，该模块可以融合到现有的CNN中进行端到端训练。

关于文献

题目及期刊

题目：Deep-learning-augmented microscopy for super-resolution imaging of nanoparticles

纳米颗粒超分辨率成像的深度学习增强显微镜

期刊：Optics Express

作者信息

作者：XIN HU，XIXI JIA

发表时间

日期：2023年

阅读时间

日期：2024年9月8日

开源代码及其它

GitHub：无