论文主体思路

论文主要贡献

  1. 无监督光谱重建（Unsupervised spectral reconstruction， SR）的目的是在不加注释的情况下，从相应的RGB图像中恢复高光谱图像(HSI)。
  2. 从两种照明下捕获的一对RGB图像重建HSI，显着提高了重建精度。
  3. 首先构建了基于两种光照的SR迭代模型。通过展开求解该SR模型的近端梯度算法，提出了一个可解释的无监督深度网络。网络中各模块具有精确的物理意义，使网络具有优越的性能和良好的泛化能力。在两个公共数据集和我们的真实世界图像上的实验结果表明与最先进的方法相比，所提出的方法在视觉和定量上都有显著提高。
  4. 基于双光照的SR问题迭代模型。基于近端梯度下降（PGD）算法，提出一种可解释无监督网络结构DSR-Net来求解该模型。在PGD中，采用嵌入自编码器作为近端算子，而不是传统的软线程算子。从而增强了HSI深度先验的探测能力，有利于图像重建。此外，DSR-Net是通过展开物理成像模型进行专门设计的，确保每个网络模块具有明确的物理含义，具有良好的可解释性和泛化能力。

DSR-Net网络架构

消融实验

  • 我们首先进行消融实验，以评估在SR中引入照明的影响。如图2(a)所示，在性能上取得的巨大收益证实了增加照明的有效性。这也说明了增加光照是提高光谱恢复的一种方便有效的方法。在图2(b)中，无论增加多少照明，我们的方法总是在其他方法中表现最好，这表明了我们的双照明SR的优越性。

评估深度网络的性能

  • 为了保证实验的公平性，所有的深度网络都使用相同的损失函数进行训练，确保所有的方法都能从两幅RGB图像中恢复光谱。竞争方法在CAVE和Harvard数据集上的平均定量结果如表1所示。值得注意的是，所提出的深度网络约有27万个参数，得到了最好的结果，证明了我们的网络的实用性。具体来说，与SAM、PSNR、SSIM和RMSE的次优结果相比，我们的CAVE数据集分别提高了27.12%、4.81%、0.41%和10.00%。同样，在哈佛数据集上，我们的表现比第二好的HSCNN+高出12.02%

误差图与重构谱

  • 在图3中给出了相应的误差图和重构谱。图3(a)描绘了SAM误差图和平均绝对误差（MAE）图，SAM和MAE值列在相应图像的右下角。SAM和MAE误差反映了重建图像与地面真实值的光谱相似性和值差异。我们的方法在图3(a)中显示了更好的边缘细节和整体结构，验证了我们的方法的优越性。
  • 在图3(b)中，我们随机选取光滑区域，绘制重建hsi的平均光谱曲线。同时给出了重建光谱与地面真值的相关系数（Corrs）。我们的方法更接近真实情况，其相关系数最高，证明了所提出方法的有效性。

真实世界的图像

附录与补遗

论文中可以引用的部分

  1. 其中Fubara等[10]直接学习一组光谱基函数，通过U-Net从RGB图像中预测权重，重建了HSI。由于RGB图像中光谱信息的严重缺乏，在没有任何约束的情况下，从单幅RGB图像中学习光谱基函数会造成严重的光谱失真，为了缓解这一问题，许多研究者利用了HSI中相邻波段之间的高结构相似性（SSIM）的固有特性，尽管有了很大的改进，但RGB图像严重的光谱信息丢失使得以无监督的方式从单个RGB图像重建HSI变得困难。
  2. 现有的多种基于图像的SR方法仍然需要在大量高光谱图像(HSI)的监督下训练其网络。更重要的是，如果没有物理成像模型的指导，现有的SR网络往往是黑盒子，缺乏透明度，这阻碍了它们的性能和泛化。

关于文献

题目及期刊

题目：两种光照条件下RGB图像的无监督光谱重建

Unsupervised spectral reconstruction from RGB images under two lighting conditions

期刊：OL

引用

  • Cao, X., et al. “Unsupervised Spectral Reconstruction from Rgb Images under Two Lighting Conditions.” Opt Lett 49.8 (2024): 1993-96. Print.

作者信息

作者：Xuheng Cao，Yusheng Lian，Zilong Liu，Jin Li，Kaixuan Wang

发表时间

日期：2024年

阅读时间

日期：2024年10月27日

开源代码及其它

GitHub：无。