# [AAAI'22] 车辆重识别全新方向！解决恶劣天气下的车辆重识别，有效提升真实世界可行性！训练代码以及预训练模型皆以开源！

科研机构：台湾大学

论文链接：
[SJDL-Vehicle: Semi-supervised Joint Defogging Learning for Foggy Vehicle Re-identification, AAAI'22](https://ojs.aaai.org/index.php/AAAI/article/view/19911)
代码链接：https://github.com/Cihsaing/SJDL-Foggy-Vehicle-Re-Identification--AAAI2022


近期AAAI'22的文章已经逐渐释出，当中这篇内容对于重识别在恶劣气候下提出了新的议题，并且开发出解决的算法架构及对于现有的资料集做更近一步地分类并提供额外的辅助标签，因此将本篇重点整理下来分享给大家，目前训练代码、预训练模型和辅助标签集皆已开源。

## 简介

当前车辆重识别算法随着DCNN发展以不同架构达到最先进性能，但旧有资料集皆针对清晰气候设计，在雾景中进行车辆重辨识仍是一项巨大的挑战：
1. **现有重识别方法(Existing ReID method) [1,2,3]:** 这些方法是为清晰的图像而设计的，虽能在现有资料集下获得良好的成绩，但是对于恶劣气候下的成效却相当有限，而雾是现实世界中最常见的气候之一，是一种由烟雾、灰尘和其他漂浮颗粒组成的大气现象，将会导致能见度下降，并降低车辆重识别的特征提取能力，不利于真实世界的应用。
2. **二阶除雾重识别(Defogging+ReID) [4]:** 最直接的解决方法是透过现有的去雾策略提高输入影像的可见性，然后进行ReID算法。然而传统的去雾方法是根据人类感知设计，影像还原过程无法保证能提供有效的ReID资讯，此外，去雾方法需要大量的计算负担，集成式架构将会增加系统的复杂性，对于效能有极大的局限性。
3. **资料集限制 [5,6]:** 现有的车辆重识别资料集为了减轻问题难度，主要在清晰气候下所组成，而真实世界中雾气下的标记成本极高，且难以收集对应的ground truth样本，常见的方法可透过合成资料模拟，却仍然与真实世界中存在一定程度的domain gap。

对于雾气车辆重识别而言，如何有效地从雾气影像中抽出ReID特征成为开发的重点，本篇贡献如下：
* 提出新的训练框架，将去雾网络和重识别网络统一起来。联合去雾学习框架可以为 ReID 保留去雾特征，以应对可见度差的问题。
* 提出半监督去雾训练机制，交替优化合成数据和真实世界数据上的网络，以解决域差距问题。
* 重新标注现有的基准并构建了一个名为 Foggy Vehicle ReID (FVRID) 的额外分类标签资料。

此外，这个团队在过去对于影像还原有许多发表：

* 单张影像、单个模型多合一天气去除： [[Github]](https://github.com/fingerk28/Two-stage-Knowledge-For-Multiple-Adverse-Weather-Removal) (CVPR'22)
* 单张影像去雾： [[PMS-Net]](https://github.com/weitingchen83/PMS-Net) (CVPR'19) and [[PMHLD]](https://github.com/weitingchen83/Dehazing-PMHLD-Patch-Map-Based-Hybrid-Learning-DehazeNet-for-Single-Image-Haze-Removal-TIP-2020) (TIP'20)
* 单张影像去雪： [[JSTASR]](https://github.com/weitingchen83/JSTASR-DesnowNet-ECCV-2020) (ECCV'20) 、 [[HDCW-Net]](https://github.com/weitingchen83/ICCV2021-Single-Image-Desnowing-HDCWNet) (ICCV'21)
* 单张影像去雨： [[ContouletNet]](https://github.com/cctakaet/ContourletNet-BMVC2021) (BMVC'21)

## 方法
### **Joint Defogging Learning network for vehicle ReID**

本篇引入多任务学习(joint learning)的技巧，所提出的架构主要由两个分支组成：重识别分支(ReID Branch)和去雾分支(Defogging Branch)，期望透过去雾分支学习干净的图像特征，有效的指引重识别分支在雾气状况下学习到有鉴别性的ID特征。

为了达到此目的，此论文将网路切分成集体特征共享模块(CFSM)、无雾图像重建模块（FIRM）和重新识别模块（ReIDM）以产生相应的输出:

> * Collective Feature Sharing Module(CFSM): 集体特征共享模块。作为输入影像的特征提取模块，以确保抽取的无雾特征(FC)共享去雾和车辆 ReID 的关键信息。从网络底层提取的特征包含更多的空间和低层信息[7]，有利于去雾过程，因此CFSM由重识别分支中的前两个卷积块构成。
> * Re-identification Branch(CFSM+ReIDM): 重识别分支。采用ResNet50作为主干，将CFSM提取特征(FC)通过其余ResBlocks，再进行全局平均池层(GAP)和批量归一化(BN)层生成2048维ReID特征，此部分透过三元学习与ID分类来优化网路。
> * Defogging Branch(CFSM+FIRM): 无雾图像重建模块。 CFSM特征表示会因雾而恶化，将导致ReID性能受限，此分支将FC特征经过FIRM网路还原成干净影像，并透过MSE进行合成数据集训练以规范CFSM保持干净的特征抽取，作为辅助训练使用，在测试阶段可拔除FIRM减少运算量。

### **Semi-supervised Optimization for Joint Defogging Learning**

半监督优化联合去雾学习机制(SJDL)。由于真实世界中无雾图像的ground truth难以收集，仅在合成数据上优化去雾分支。将导致车辆重识别的性能在现实世界和合成场景之间存在领域差距。为了解决这个问题，我们提出了一种半监督优化方案，在每次迭代中交替训练真实世界图像和合成图像。培训过程可以分为两部分：
> * Supervised Learning Stage: 在这个阶段，基于合成数据以监督的方式优化去雾分支。
> * Unsupervised Learning Stage: 此阶段透过物理性质进行非监督学习，主要运用四个特性:
(1) Color Entropy: 颜色熵控制清晰图像内容与鲜艳的色彩，增加颜色丰富性。
(2) Dark Channel prior: 透过DC[8]的定义，干净影像其暗通道强度应趋近于0。
(3) Total Variation: 抑制像素间的变异值，保留图像内容和结构信息的同时抑制噪声。
(4) Self-Constraint: 基于傅立叶领域上的信息比对，比对影像前后相似性，限制结构信息。

## 实验结果

此篇论文做了许多实验来证明其有效性。

### 数据集额外标注以及补强(Dataset):
根据需求本篇对VERI-Wild和Vehicle-1M数据集进行全面性标记作业:
> 1. Foggy Vehicle ReID for real-world scenes (FVRID_Real): 由5051影像403台车组成训练集，1000个真实ID作为Real-World测试集。
> 2. Foggy Vehicle ReID for synthetic training (FVRID_Syn): 首先挑选出无雾影像，并根据[9]进行雾气合成，最终由42558影像3000台车组成训练集，1000个合成ID作为Syn测试集。

针对上述的训练以及测试资料，此论文提供了对真实世界的额外标签集以及对合成资料ㄇ的合成代码，可供所有的研究员使用。


### 消融实验(Ablation Study)：

**1. 使用不同Collective Feature Sharing Module深度对于模型性能的影响：**
实验结果验证前述的论点，浅层网路包含较多空间与低频资讯，对于影像还原有相当大的帮助。

**2. 提出架构与优化技巧对于真实世界雾气影像的还原结果比较：**
上图证明了，使用提出的训练技巧与Self-Constraint可近一步提升影像还原品质。

**3. 针对Semi-supervised Optimization＆Joint Defogging Learning有效性进行验证：**
结果表明了使用论文中提出的所有模块有助于提升雾气状况下的ReID效能，并能减少领域差距。

**4. 针对架构有效性进行Rank10可视化分析：**

### 与现有方法的比较


可以发现在FVRID_Syn和FVRID_Real数据集上，原先的SOTA模型都会严重崩溃，而直接训练于雾气资料上也比两阶段架构成效较佳，而本篇推出的方法表现效果也显着优于其他模型。

## 结语

读完这篇文章后，我认为这篇论文有几点非常值得参考

> 1. 提出Semi-supervised Optimization和Joint Defogging Learning机制，并且透过集体特征共享模块有效结合两个分支的优势，对于ReID学习雾气状况下特征是相当有帮助的。
> 2. 首篇针对恶劣气候下的车辆重识别进行探讨的论文，并提供一份完善的Foggy Vehicle ReID(FVRID)数据集标注资讯，对于新的议题推动有极大的帮助。
> 3. 此概念未来对于其他物体辨识等应用可能会有很大的帮助，此外，虽说论文是针对雾气气候去设计，但我认为此方法应该能延展到其他的恶劣环境情景。

## 参考文献

[1] Meng, Dechao, et al. "Parsing-based view-aware embedding network for vehicle re-identification." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[2] He, Shuting, et al. "Transreid: Transformer-based object re-identification." Proceedings of the IEEE/CVF international conference on computer vision. 2021.

[3] He, Shuting, et al. "Multi-domain learning and identity mining for vehicle re-identification." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020.

[4] Zamir, Syed Waqas, et al. "Multi-stage progressive image restoration." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.

[5] Lou, Yihang, et al. "Veri-wild: A large dataset and a new method for vehicle re-identification in the wild." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

[6] Guo, Haiyun, et al. "Learning coarse-to-fine structured feature embedding for vehicle re-identification." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 32. No. 1. 2018.

[7] Chen, Wei-Ting, et al. "DesmokeNet: A Two-Stage Smoke Removal Pipeline Based on Self-Attentive Feature Consensus and Multi-Level Contrastive Regularization." IEEE Transactions on Circuits and Systems for Video Technology 32.6 (2021): 3346-3359.

[8] He, Kaiming, Jian Sun, and Xiaoou Tang. "Single image haze removal using dark channel prior." IEEE transactions on pattern analysis and machine intelligence 33.12 (2010): 2341-2353.

[9] Li, Boyi, et al. "Benchmarking single-image dehazing and beyond." IEEE Transactions on Image Processing 28.1 (2018): 492-505.