论文主体思路

论文主要贡献

  1. 本文提出了一种基于U-Net的循环卷积神经网络(RCNN)和一种基于U-Net模型的循环残差卷积神经网络(RRCNN)，分别命名为RU-Net和R2U-Net。
  2. 实验采用基于patch的视网膜血管分割、皮肤癌分割和肺分割三种不同的医学成像方式，对所提模型进行了性能评估。

医学图像分隔

U-Net基本架构

  1. 分类任务的CNN模型需要一个编码单元，并提供类概率作为输出。在分类任务中，我们使用激活函数执行卷积操作，然后进行子采样层，从而降低特征图的维数。当输入样本遍历网络各层时，特征映射的数量增加，但特征映射的维数减少。如图2中模型的第一部分(绿色部分)所示。由于特征映射的数量在更深的层中增加，网络参数的数量也相应增加。最后，在网络的末端应用Softmax运算来计算目标类的概率。
  2. 与分类任务相反，分割任务的架构需要卷积编码和解码单元。编码单元用于将输入图像编码成大量的低维地图。解码单元用于执行上卷积(反卷积)操作，以产生与原始输入图像具有相同维数的分割映射。因此，与分类任务的体系结构相比，分割任务的体系结构通常需要几乎两倍的网络参数。因此，为分割任务设计高效的深度卷积神经网络(DCNN)架构是非常重要的，它可以在较少的网络参数下保证更好的性能。
  3. 基本U-Net模型示意图如图2所示。从结构上看，网络主要由卷积编码单元和卷积解码单元两部分组成。执行基本的卷积操作，然后在网络的两个部分激活ReLU。对于编码单元中的下采样，执行2×2最大池操作。在解码阶段，执行卷积转置(表示上卷积或反卷积)操作来对特征映射进行上采样。U-Net的第一个版本被用来从编码单元裁剪和复制特征映射到解码单元。U-Net模型为分段任务提供了几个优势:首先，该模型允许同时使用全局位置和上下文。其次，它可以使用很少的训练样本，为分割任务提供更好的性能。第三，端到端流水线在前向通道中处理整个图像并直接生成分割图。这确保了U-Net保留了输入图像的完整背景，与基于补丁的分割方法相比，这是一个主要优势。

基于循环卷积层(RCL)的U-Net架构

卷积和循环卷积单元不同的变体

  1. 采用具有前向卷积层和特征连接的U-Net作为替代U-Net初级版本中的裁剪和复制方法。如图4(a)所示。
  2. 采用带残差连通性的前向卷积层U-Net，通常称为残差U-Net (ResU-Net)，如图4(c)所示。
  3. 第三种架构是U-Net，具有正向循环卷积层，如图4(b)所示，命名为RU-Net。
  4. 如图4(d)所示具有残差连通性的递归卷积层的U-Net，命名为R2U-Net。
  5. 残差单元有助于训练深度架构，使用循环残差卷积层进行特征积累，确保更好地表示分割任务的特征。

循环卷积层(RCL)

  1. 在编码和解码单元中，使用循环卷积层(RCL)和带有残差单元的RCL来代替常规的前向卷积层。带有RCL的剩余单元有助于开发更有效的深层模型。其次，在两种模型的RCL单元中都加入了有效的特征积累方法。基于CNN的医学图像分割方法显示了从网络的一部分到另一部分特征积累的有效性。
  2. 在该模型中，元素特征求和在U-Net模型之外执行。该模型只在训练过程中表现出更好的收敛性。然而，由于模型内部的特征积累，我们提出的模型在训练和测试阶段都显示出好处。相对于不同时间步长的特征积累确保了更好更强的特征表示。因此，它有助于提取非常低层次的特征，这些特征对于不同模式的医学成像(如血管分割)的分割任务至关重要。
  3. 我们从基本的U-Net模型中删除了裁剪和复制单元，只使用连接操作，从而产生了一个非常复杂的体系结构，从而获得了更好的性能。

附录与补遗

U-Net中的裁剪与复制方法

  1. 裁剪 (Cropping): 在U-Net中，编码器部分通过多次卷积和池化操作逐渐减少特征图的尺寸。然而，解码器部分则通过上采样逐渐恢复特征图的尺寸。由于池化操作可能导致特征图的尺寸与解码器中的上采样特征图不匹配，因此需要对编码器的特征图进行裁剪，使其尺寸与解码器对应层的特征图一致。
  2. 复制 (Copying): 裁剪后的特征图会被复制，并与解码器部分对应层的特征图连接（即进行特征图的拼接）。这种跳跃连接可以帮助网络在解码阶段恢复更精确的空间信息，从而提高分割的精度。

关于文献

题目及期刊

题目：Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation

基于U-Net的递归残差卷积神经网络(R2U-Net)用于医学图像分割

期刊：arXiv

作者信息

作者：Md Zahangir Alom

发表时间

日期：2018年2月

阅读时间

日期：2024年8月17日—2024年8月19日

开源代码及其它

Github：https://github.com/bigmb/Unet-Segmentation-Pytorch-Nest-of-Unets

https://github.com/LeeJunHyun/Image_Segmentation