论文主体思路

论文主要贡献

提出了残差密集网络(RDN)。该网络充分利用了原始低分辨率(LR)图像的所有分层特征。
对于一个非常深的网络来说，直接提取LR空间中每个卷积层的输出是非常困难和不切实际的。因此提出残差密集块(RDB)作为RDN的构建模块，RDB由密集连接层和带有局部残差学习的局部特征融合(LFF)组成。我们的RDB还支持RDB之间的连续内存。一个RDB的输出可以直接访问下一个RDB的每一层，从而产生连续的状态传递。RDB中的每个卷积层都可以访问所有后续层，并传递需要保留的信息。LFF将当前RDB的前一层状态与当前RDB的所有前一层状态连接起来，通过自适应保留信息提取局部密集特征。此外，LFF通过稳定更广泛的网络的训练，允许非常高的增长率。在提取多层次局部密集特征后，进一步进行全局特征融合(global feature fusion, GFF)，从全局角度自适应地保留层次特征。
RDB中的局部特征融合的使用可以减少多余的特征，使网络训练更稳定。在充分得到稠密的局部特征后，采用全局特征融合的方法对全局多层次特征进行联合自适应学习。在具有不同退化模型的基准数据集上的实验表明，与现有的state-of-the art方法相比，RDN取得了更佳的性能。
提出了全局特征融合来自适应融合LR空间中所有RDBs的层次特征。通过全局残差学习，我们将浅特征和深特征结合在一起，得到来自原始LR图像的全局密集特征。

现有的SR方法

单图像超分辨(SISR)旨在通过低分辨图像(LR)，生成视觉效果更好的高分辨图像(HR)，实际上SR是一个病态的问题，因为对于任何LR输入都有多种解决方案(一对多)。已有的SR方法主要有三种：

基于插值
基于重建
基于学习

举例

Dong 等人在ECCV2014提出的SRCNN(DL应用在SR领域的开山之作)。
Kim 等人根据SRCNN的不足在CVPR2016分别提出了VDSR(增大感受野、残差学习和高学习率、mutil-scale)和DRCN(递归)，使网络更好训练。
Lim 等人在CVPR2017中，使用残差块构建了EDSR(very wide)和MDSR(very deep)，该方法还赢得了当年CVPR Workshops的超分辨比赛——NTIRE2017的冠军。
Tai 等人提出了包含递归单元和门控单元的记忆模块，构建了MemNet。

存在的问题

尽管MemNet中的门控单元可以提供短期记忆，但是局部卷积层不能直接访问后续层，很难说记忆模块充分利用了里面所有层的信息，没有充分利用每一个卷积层中的信息。
忽视了多层次特征，图像中的物体有不同的尺寸、视角、纵横比，一个非常深的网络的多层次特征（hierarchical features）能为重建提供更多线索。然而，大多数当前的DL方法（VDSR、LapSRN、EDSR等）都忽视了这种多层次特征。

RDN网络结构

RDN主要由四个部分组成:浅层特征提取网络(SFENet，开始的两个卷积层)、独立密集块(RDB)、密集特征融合(DFF)和上采样网络(UPNet)。

RDB块(Residual Dense Block)

残差密集块RDB = 密集连接层 + 局部特征融合(LFF) + 局部残差，形成了连续记忆机制(CM，Contiguous Memory)。

附录与补遗

DIV2K数据集

Timofte等人发布了用于图像恢复应用的高质量(2K分辨率)数据集DIV2K[27]。DIV2K由800张训练图像、100张验证图像和100张测试图像组成。

关于文献

题目及期刊

题目：Residual Dense Network for Image Super-Resolution

图像超分辨率残差密集网络

期刊：CVPR(顶会)

作者信息

作者：Yulun Zhang

发表时间

时间：2018年3月

阅读时间

日期：2024年8月8日

开源代码及其它

地址：https://github.com/yulunzhang/RDN