论文主体思路

论文主要贡献

  1. 光学相干断层扫描（OCT）主要应用在眼科学中，不自主眼动是影响图像采集的一个重要问题。
  2. 提出了一种端到端深度学习方法来实现实时4D-OCT成像。我们首先以高扫描速率收集欠采样图像，然后应用基于DL的上采样方法来提高图像分辨率。

4D-OCT系统

  1. 图1表示了我们提出的方法的工作流程。首先，内部构建的OCT系统对体内鱼眼的高速干涉图信号进行采样，并将其传输到处理计算机，如图1(a)所示。
  2. 第一种提出的方法使用双2D-UNet (D2DUNet)，其中包括一个Y- unet和一个Z- unet，沿Y和Z轴顺序插值图像，如图1(c)所示。该方法被称为常规方法，因为Y-UNet和Z-UNet都是基于二维图像的CNN方法，广泛用于OCT轴向和横向方向的图像上采样任务。第二种方法使用一个3D-UNet沿两个轴同时对图像大小进行上采样，如图1(d)所示。

网络结构

  1. 网络的上部路径是一个三维上采样层，使用线性插值将图像尺寸沿Y和Z方向增加4倍。下面的路径是一个类似unet的架构，带有一个产生高频特征的多级剩余解码器（MRD）。
  2. 每一层编码器和解码器的基块为残差块，残差块包括两个3 × 3 × 3卷积层、两个整流线性单元（ReLU）层和残差运算，利用残差学习[29]在优化过程中改善梯度流。
  3. 我们没有在我们的网络中使用批归一化（batch normalization， BN）层，因为有研究表明，批归一化会导致高分辨率图像重建精度[30]的降低。
  4. 低分辨率和高分辨率图像通常具有相似的低频信息，这些信息来自于上路径。下路径主要用来学习高频特征。上路径的结果提供了高分辨率体积的粗略估计，下路径主要用于添加组织的更精细的细节。

多级剩余解码器(MRD)

  1. 与仅依赖最后一层的信息作为输出的经典U-Net相比，我们提出的网络利用从各个层提取的信息来增强性能。每个U-Net电平的输出后跟一个带有4个特征通道的残差块，结果标记为R1 ~ R5。如果我们将解码器的每个电平的输出定义为D1 ~ D5，我们得到D5 = R5。
  2. 其中Up是一个线性上采样层，将两个图像的尺寸增加2倍。值得注意的是，Di引导解码过程准确还原了各种尺度空间的细节，对揭示组织边界有很大贡献[32]。

重建效果

  1. (a)由(b)双三次插值沿xy平面（b扫描）的输入下采样OCT重建结果，(c) 2D-UNet, (d) 2D-UNet与MRD， (e) 3D-UNet, (f)提出的方法（3D-UNet with MRD）， (g)地面真值。插图：放大的视图，突出水晶透镜的边缘。

  1. 图5显示了使用不同方法在xz平面上的OCT图像。图5（a-e）分别表示输入图像和双三次插值、2D-UNet、2D-UNet with MRD、3D-UNet和本文方法的图像重建结果，图5(g)为比较的基本真值。如红色箭头所示，我们提出的方法可以显示比其他方法更清晰的晶界。

附录与补遗

无。

关于文献

题目及期刊

题目：高分辨率体内4D-OCT鱼眼成像，使用3D-UNet和多级残留解码器

High-resolution in vivo 4D-OCT fish-eye imaging using 3D-UNet with multi-level residue decoder

期刊：Biomedical Optics Express

引用

  • Zuo, R., et al. “High-Resolution in Vivo 4d-Oct Fish-Eye Imaging Using 3d-Unet with Multi-Level Residue Decoder.” Biomed Opt Express 15.9 (2024): 5533-46. Print.

作者信息

作者：RUIZHI ZUO，SHUWEN WEI，YANING WANG，KRISTINA IRSCH，JIN U. KANG

发表时间

日期：2024年

阅读时间

日期：2024年11月13日

开源代码及其它

GitHub：无