“Deep blind super-resolution for hyperspectral images” 文章提出了一种针对单幅高光谱图像的盲超分辨率算法（DBSR），用于解决高光谱图像未知退化问题，通过设计新的网络模块充分利用光谱和空间信息，提升了重建效果和模型泛化能力。

研究背景与问题提出

• 高光谱成像技术：结合成像和光谱技术，通过检测目标反射电磁波获取空间和光谱数据，广泛应用于军事侦察、工业检测和医疗诊断等领域，但受硬件传感器限制，存在空间分辨率低的问题。
• 高光谱图像超分辨率（HSI SR）技术：旨在从低分辨率（LR）HSI 恢复高分辨率（HR）HSI，现有方法包括基于融合和单高光谱图像超分辨率（SHSR）方法，后者更实用，但存在退化模型假设简单、忽视光谱信息等问题。
• 盲超分辨率（blind SR）任务：为处理真实世界图像，模拟更一般的退化过程，但在 SHSR 中相关研究较少，且现有非盲 SHSR 方法无法处理未知退化，直接应用 RGB 图像盲超分辨率方法会导致光谱失真。

创新点

1. 首次提出针对单幅高光谱图像的盲超分辨率算法，有效解决 HSI 未知退化问题。
2. 设计 MPIAN 和 SSFN 模块，充分利用高光谱图像不同波段间的空间和光谱信息，解决 RGB 图像盲超分辨率方法不适用于高光谱图像的问题。

方法提出

• 网络架构：基于新的退化模型，DBSR 网络框架包括四个模块，即复用卷积深度线性核（MCDLK）、深度维纳反卷积网络（DWDN）、多路径集成注意力网络（MPIAN）和空间 - 光谱融合网络（SSFN）。
• MCDLK 模块：用于估计模糊核，通过 MCNet 提取模糊特征，利用子像素和超像素操作增加接受域，提取不同尺度的空间和通道信息，最后将特征图转换为模糊核。
• DWDN 模块：采用基于特征的维纳滤波对图像进行去模糊，先通过特征提取线性层将退化模型转换到深度特征空间，然后求解使模糊特征映射到干净 LR 特征的算子，最小化均方误差得到干净特征。
• MPIAN 模块：在每个分支网络末端设计，用于细化去卷积后的潜在特征，通过多路径集成注意力块（MPIAB）融合原始模糊特征和其他波段信息，减少内核估计误差，增强光谱连续性。
• SSFN 模块：在网络末端设计，用于整合分支网络提取的深度特征，通过多个空间 - 光谱融合单元（SSFU）级联，采用伪 3D 卷积、残差模块和残差通道注意力模块，增强全局空间 - 光谱一致性。
• 损失函数：采用损失优化网络，同时引入光谱角映射器（SAM）损失确保光谱可信度，联合优化 SR 网络和内核估计网络。

算法流程

• 首先利用模糊核估计网络和去模糊网络获取无模糊图像，在估计核时通过交换空间通道信息改变接受域，获取不同尺度的模糊信息。
• 接着融合模糊图像的空间信息以补偿核不匹配引入的误差，并利用其他波段的空间和光谱信息指导当前波段的特征提取。
• 最后在全局融合网络中整合不同分支的特征信息，进一步提高空间和光谱信息的保真度。

实验结果

        在合成和真实高光谱数据集上进行实验，结果表明，与其他先进方法相比，DBSR 在定量（PSNR、SSIM、SAM 等指标）和定性评估中均表现更优，具有更好的泛化能力，能有效恢复高光谱图像的空间和光谱信息，且代码已公开在https://github.com/YoungP2001/DBSR。

 

各模块介绍

复用卷积深度线性核（MCDLK）模块

        主要应用 MCNet 从输入的LR HSI中提取模糊特征。通过池化层和全连接层将提取的特征图转换为模糊核。由于单层核不稳定，通过一系列未激活线性卷积层生成多个单层线性核，并与单位核卷积生成估计的模糊核，且根据先验知识约束估计内核之和为 1。 

        考虑到高光谱图像的高维度和光谱相关性，先对浅层提取的特征进行分组，然后通过子像素和超像素操作在多个尺度上提取空间和通道信息。如左下图在 MCNet 中，采用一个卷积层和三个复用卷积块（MConv Block）进行特征提取；右下图，在 MConv 层将模糊图像分为三组（C1=C，C2=2C，C3=C），第一组进行子像素操作，将空间信息映射到通道信息，增加接受域且保留原始空间信息；第三组进行超像素操作，将通道信息映射到特定空间位置，聚焦于局部区域提取更详细信息，使空间和通道信息相互作用。同时，在两个 MConv 层之间添加 1×1 卷积层以增强通道信息探索。

        在MCDLK模块中，使用 3 个MCBlocks，初始特征通道数为 256。通过该模块，能够准确估计模糊核，为后续处理提供必要信息，确保在重建结果中增强正确的特征。

深度维纳反卷积网络（DWDN）模块

        在获得估计的模糊核后，该模块用于将模糊核应用于退化模型，通过反卷积操作获取模糊前的图像。由于MCDLK 模块通过提取不同尺度特征估计模糊核，DWDN 模块利用维纳滤波器在深度特征空间对低分辨率高光谱图像去模糊，这两者结合通过学习退化过程的形成来处理未知退化。

多路径集成注意力网络（MPIAN）模块

        该模块在通过 DWDN 模块初步提取干净图像特征后，位于每个分支网络末端，主要由一组多路径集成注意力块（MPIABs）组成，其输入包括去模糊后的特征、原始模糊特征以及上一组 MPIABs 的输出。

        在每个 MPIAB 中，首先通过一个卷积层对原始模糊特征进行通道数减少操作（得到），以加速训练。然后，开发了一个包含两个残差块的特征提取模块，将模糊特征和干净特征进行拼接（concat），同时将上一组的特征与当前组进行整合，增强相邻波段间的相关性。这种整合在每个 MPIAB 中进行，而非仅在最后一个，从而使网络在不同深度的特征空间中都能强调光谱维度。最后，在模块末端设置一个通道注意力层，在融合其他信息后，自适应调整通道权重，提高局部范围的光谱连续性，并通过参数共享增强不同频率波段间的相关性。此外，每个路径上都添加了残差连接，携带丰富的低频信息，使主网络专注于学习高频信息，以恢复更准确的细节。

空间光谱融合网络（SSFN）模块

        因为以上模块都是分组进行的。所以为了充分利用高光谱数据，设计了SSFN对分支提取的深度特征进行整合，增强重建高光谱图像（HSI）的全局空间 - 光谱一致性。

        SSFN由多个空间-光谱融合单元（SSFU）级联而成。SSFU 内部结构与功能如下：

• 伪 3D 卷积（Pseudo - 3D）块：每个 SSFU 包含一个 Pseudo - 3D 卷积块，用于提取 3D 高光谱特征，同时避免损坏空间 - 光谱一致性且不增加过多计算资源压力。它通过将 1×3×3 卷积层和 3×1×1 卷积层以串联或并行方式组合，替代标准的 3×3×3 卷积层。文中通过在 CAVE 数据集上对不同连接方式（并行和串联）的性能比较，基于 PSNR、SSIM 和 SAM 等评估指标，确定采用串联连接的伪 3D 模块，因其在整体网络性能上表现更优。
• 残差模块（ResNet）：经过伪 3D 卷积的初步提取后，进一步通过两个残差模块提取空间和光谱信息。ResNet 允许低频信息直接传递到末端，使网络更专注于高频信息，提高训练稳定性。
• 残差通道注意力模块（RCAB）：考虑到高光谱数据通道众多，引入 RCAB 模块来调整不同通道的权重。它通过 1×1 卷积层进行光谱带的线性重建，然后在残差组件中利用通道注意力自适应调整特征权重，进一步增强网络的表示能力。

        后两个模块解决了目前RGB图像的盲SR模型不能有效处理高光谱图像的问题，充分利用HSI信息进行恢复。