无监督二元变化引导的高光谱多类变化检测网络及其在遥感图像处理中的应用

论文标题：Binary Change Guided Hyperspectral Multiclass Change Detection
论文链接：ieeexplore.ieee.org/document/10…
作者单位：武汉大学（Liangpei Zhang，IEEE Fellow）

欢迎关注公众号 CV顶刊顶会，认真且严肃的计算机视觉论文前沿报道~

期刊介绍：IEEE Transactions on Image Processing（IEEE TIP）是图像处理领域公认的顶级国际期刊，是中国计算机学会（CCF）推荐的A类期刊，代表了图像处理领域先进的重大进展，要求论文在理论和工程效果上对图像处理及相关领域具有重要推动作用，其最新的影响因子为15.8。

遥感图像变化检测任务常会利用高光谱图像，高光谱图像具有较为丰富的光谱信息，能够检测到地理目标的细微的变化，以便于区分各种变化类别。目前大多数解决高光谱多类地物变换检测任务（hyperspectral multiclass change detection，HMCD）的方法都基于光谱分离机制，这类方法往往会受到时间相关性和误差累积的干扰。 来自武汉大学测绘遥感信息工程国家重点实验室的研究团队提出了一种用于 HMCD 的无监督二元变化引导的高光谱多类变化检测网络 (Binary Change Guided hyperspectral multiclass change detection Network，BCG-Net)成功发表在图像处理领域顶级期刊IEEE TIP上。BCG-Net旨在利用目前较为成熟的二元变化检测方法来提高多类变化检测的精度和性能。 在 BCG-Net 中，作者为多时相光谱解混设计了一种局部孪生解混（partial-siamese united-unmixing）模块，此外，还设计了一种由二进制变化检测结果的伪标签引导的时序性相关约束，来指导多类变化检测的过程，鼓励未变化像素的匀质区域更连贯，变化像素的区域更准确。此外，针对传统变换检测规则易受数值影响的问题，作者还提出了一种创新的二进制变化检测规则。作者在多个数据集上进行的实验结果表明，提出的 BCG-Net 可以在多类变化检测任务中实现非常出色的性能，同时获得更好的光谱分离结果。

1.引言

一般来说，高光谱变化检测分为高光谱二元变化检测（HBCD）和高光谱多类变化检测（HMCD）两种。HMCD长期以来一直是一项具有挑战性的研究课题，与 HBCD 相比，HMCD 不仅需要检测变化区域和未变化区域，还需要识别变化的数量并区分与不同土地覆盖转变相关的不同类型，相比之下，HMCD的结果可以为遥感测绘人员提供更详细的地物变更信息。对于 HMCD 最直接的解决方案是分类后比较方法 (post classification comparison，PCC) [33]，即先分别对两个不同时段的高光谱图像进行分类，然后比较多时态分类图以获得多类变化检测结果。但是这种方法需要大量详细标注的训练样本。后来的一些方法提出将光谱分离机制（spectral unmixing，SU）融入到变换检测框架中，SU是一种将混合像素的光谱特征分解为端元及其相应比例（称为丰度）的过程，是解决混合像素问题的有力工具。如下图所示，可以直接使用丰度图来计算二元和多类变换检测结果，但是这类方法也面临着在没有误差累积的情况下进行检测的问题，对丰度进行直接比较可能会放大多时相的丰度方差和分离误差。因而对结果产生噪声和以及错误移位的检测结果。

但是作者也观察到，通过SU计算得到的二进制变化检测结果具有一定的可信度，并且其包含了分离和变化检测之间的误差累积和偏差。作者想到是否可以从改进二元变化检测结果入手，进一步完成光谱分离和变化检测的协同优化呢？因此在本文中，作者提出了BCG-Net来解决错误累积的问题，如下图所示，即通过二元变化检测（BCD）结果构成的伪标签来引导多类的检测，实际上，多时相图像的BCD结果是时间相关性的标志，也就是说，如果两个相位相同位置的像素点没有发生变化，那么这两个像素点的丰度很可能是相似的；具体来说，给定来自 BCD 结果的可靠伪标签，根据 SU 结果计算的 BCD 结果与伪标签之间的误差图可以看做是光谱分解到变化检测过程之间的累积误差和偏差，我们可以通过反向传播对误差图进行优化，以此过程达到对SU和BCD的协同优化，来达到高精度的二元和多类变化检测结果。

2.方法介绍

下图展示了BCG-Net的整体框架，其由两部分构成，即联合分离模块（United Unmixing Module，UU-Module）和时序相关模块（Temporal Correlation Module，TC-Module）。BCG-Net的具体操作过程如下：首先将一组双时相图像块送入到UU-Module来获得相应的丰度向量。UU-Module 的输出然后被送入到 TC-Module，TC-Module 旨在获取像素的二进制变化信息，然后将结果与给定的二进制伪标签进行比较，如果二进制变化结果与给定的二进制标签一致，则联合分解结果是合格的。否则，将进一步优化解混结果，并将二进制变化结果与给定标签进一步比较。在反向传播过程中，TC-Module 从变化检测的角度对 UU-Module 起到时序相关性约束作用。

2.1 联合分离模块（United Unmixing Module，UU-Module）

UU-Module旨在通过联合光谱分离从双时相高光谱图像中提取相应的丰度。UU-Module 由两个子模块组成，其中 Scaled Spectral Attention Block (SSAB) 旨在从输入中提取空间和多尺度光谱特征，Transform into Abundance Block (TAB) 将提取的特征转换为丰度。UU-Module的设计细节如下图所示。

SSAB模块由 3×3×1 的3D卷积层（3Dconv）和 3×3×3 的 3Dconv 构成，3Dconv 能够同时提取空间和光谱特征。引入较小的光谱核尺寸来提取逐波段的光谱特征，而较大的光谱核尺寸有利于挖掘连续光谱通道的光谱特征。此外，为了提高光谱特征提取能力，作者在3D卷积之后引入了efficient channel attention (ECA)模块，如下图所示。

ECA模块旨在捕获光谱图像跨通道的交互注意力并强调区分的光谱特征。随后TAB模块使用一系列的 1×1 二维卷积层 (2Dconv) 将空间和光谱特征转换为中心像素的丰度向量，输出丰度向量的长度等于多时相高光谱图像的端元数。并且在ReLU激活之后使用求和函数 $F$ 进行计算，旨在满足丰度向量求和的约束，例如给定向量 $S={\left[s_1,s_2,\dots ,s_K\right]}^{\mathrm{T}}\in {\mathbb{R}}^{K\times 1}$，$F(s_i)$ 可以定义为：

$$F\left(s_i\right)=\frac{s_i}{{\sum }_{i=1}^K{s}_i+\epsilon },i=1,2,\dots ,K$$

其中 $\epsilon$ 是一个非常小的值，以避免计算混乱，随后根据输出的丰度向量根据线性混合模型来计算得到中心像素 $\hat{x}\in {\mathbb{R}}^{C\times 1}$ 的预测谱，$\hat{x}=E\cdot S_1$，其中 $E$ 为多时相端元矩阵。随后通过最小误差高光谱新号识别方法[2]来计算两个时相的高光谱图像的所有端元的总数，并选择余弦相似度函数（命名为 COS_SIM ）来衡量预测光谱与输入中心像素光谱之间的差异，COS_SIM 更强调两个向量之间的方向差异，余弦相似度越接近1，说明两个向量在方向上越平行，反之亦然，基于此设计的损失函数可以描述如下：

$$L_{\text{cos }}(x,\hat{x})=1-\mathrm{COS}\mathrm{SIM}(x,\hat{x})=1-\frac{{\sum }_{i=1}^C{x}_i\cdot {\hat{x}}_i}{\sqrt{{\sum }_{i=1}^C{x}_i^2}\cdot \sqrt{{\sum }_{i=1}^C{\hat{x}}_i^2}}$$

2.2 时序相关模块（Temporal Correlation Module，TC-Module）

TC-Module 代表了一种新型的基于双时相丰度向量的二元变化分析规则。目前大多数无监督 SU 网络都是通过最小化重建光谱和原始光谱之间的距离来训练的。然而，当原始图像中存在噪声或成像条件的光谱干扰时，更短的距离并不意味着更好的丰度。此外 TC-Module 还从变化检测的角度对 UU-Module 进行了时序相关性约束。下图展示了TC-Module的构成细节。

TC-Module 包含四个全连接层，将一对丰度向量 $S_1$ 和 $S_2$ 送入TC-Module，分别从丰度向量中提取特征，然后拼接提取跨期变化特征，最后转化为二进制变化信息。考虑到变化和未变化样本之间的不平衡现象，作者加入了focal loss来缓解这一问题。

3.实验效果

本文的实验在三个数据集上进行，分别为simulative Urban、USA和China。下图展示了三种数据集的示例高光谱图像。其中simulative Urban数据集采集自美国，有162个光谱波段。场景中有大量的树木、草地和人工建筑。 USA 数据集具有 154 个光谱波段，土地覆盖类型包括水田、土壤、草地、河流、耕地和建筑物。China数据集含有 155 个光谱波段，有三个变化类。

下表展示了本文方法与其他baseline方法在USA数据集上的定量评估结果。

下图展示了本文方法与其他baseline方法在China数据集上的可视化对比，其中（a）为一种传统方法的二元变换检测结果，（b）为本文BCG-Net的二元检测结果。（c）为传统方法的多类检测结果，（d）为BCG-Net的多类检测结果，（e）为多类变换检测Ground-Truth。

4.总结

在本文中，作者提出了一种名为 BCG-Net 的无监督高光谱多类变化检测方法，以解决传统方法遇到的误差累积和忽略时间相关性的问题。与之前大多数直接从光谱分离结果中获得二元和多类变化的方法不同，BCG-Net设计了一种由伪二元标签指导的新型时序相关约束，以从变化检测的角度提升 SU 过程。此外，BCG-Net内嵌了一种基于神经网络的新规则，以在丰度向量对与变化信息之间建立有效的关系，从而绕过传统规则所遭受的大量误报情况。本文实验部分对三个高光谱数据集进行了广泛的定性和定量评估，证实了本文方法的有效性。

参考

[1] S. Ashbindu, “Review Article Digital change detection techniques using remotely-sensed data,” Int. J. Remote Sens., vol. 10, no. 6, 1989.

[2] M. B.-D. J. and M. P. N. J., “Hyperspectral Subspace Identification,” IEEE Trans. Geosci. Remote Sens., vol. 46, no. 8, pp. 2435–2445, 2008.