论文阅读笔记:End-to-End Single Image Fog Removal using Enhanced Cycle Consistent Adversarial Networks
论文地址:https://arxiv.org/pdf/1902.01374.pdf
Table of Contents
主要贡献:
- 该系统使用不成对的雾和无雾训练图像,对抗性鉴别器和循环一致性损失来自动构建除雾系统;
- 通过嵌入大气散射模型的原理和天空先验知识,训练CNN网络进行训练数据的合成;
- 提供一个数据集(MRFID)包含200个自然户外场景的图像;
- 所使用的评价标准是new visible edges e,contrast restoration r,
缺陷:
- CycleDefog2Refog无法处理大雾;原因是当前大气降解模型在这种情况下不能再准确地描述雾图,在未来的工作中,希望通过专门优化此模型并构建多种多雾的数据集来训练我们的网络来解决这个问题;
- 处理的图像有些过于平滑,损失了图像细节;
- 近景偏暗,远景雾气没有去除的很好。
0.论文提出的数据集(MRFID)(尚未开源)
包含200个自然户外场景
图像是从固定摄像机在一年的过程中拍摄的一系列图像中手动选择的不同雾密度
一个场景 》》》一个清晰图像 》》》四个相应的四个雾密度图像
包括200个清晰的户外图像和800个具有不同雾密度的模糊图像
1. 论文的主要思路是:
1.1 实现去雾过程:有雾图像 》》》清晰图像
采用的方法是两步实现去雾过程,即第一步去除较少的雾,第二步进行加强。
1.2. 逆向生成雾图: 清晰图像 》》》 有雾图像
同样采用两步进行雾气的生成。
1.3 训练数据的合成(使用CNN)
在传统的CycleGAN中,我们可以使用CNN直接生成模糊图像以禁止defog映射功能。 然而,在实践中,由于各种模糊图像内容的多样性和复杂性,仅通过使用卷积神经网络来拟合模糊图像的分布是非常困难的。 相反,我们引入了基于CNN的大气降解模型来合成模糊图像。 具体地,我们使用CNN来估计透射图T并使用sky prior 估计大气光A。
在使用清晰图像生成有雾图像的过程中,使用的方法是:
2. 实验结果
4. 客观评价指标:
In this experiment,the synthetic images have come from RESIDE dataset [17].
论文中使用的的评价指标是
- F
- new visible edges e
- quality value of the contrast restoration r
- normalized saturate value of pixels.
[21]G. Meng, Y. Wang, J. Duan, S. Xiang, and C. Pan. Efficient image dehazing with boundary constraint and contextual regularization. In Proceedings of the IEEE international conference on computer vision, pages 617–624, 2013
评价指标
这是在FADE和BAVE数据集上测评的结果
在真实的数据上测评
进行主观人眼评价, 在真实场景下的处理结果:
- 图像过于平滑,损失了很多的图像细节;
- 对于图像的近景部分,图像相对偏暗;
- 对于图像的远景部分,雾并没有去除的很好。