卷积神经网络去雾去雨方法
标题：A Convolutional Network for Joint Deraining and
Dehazing from A Single Image for Autonomous Driving in Rain
作者：Hao Sun, Marcelo H. Ang Jr. and Daniela Rus
来源：IEEE/RSJ International Conference on Intelligent
Robots and Systems (IROS)，2019
一．传统图像处理算法
目前已知的方案有两种。第一种是基于图像增强的方法，这类方法是对被降质的图像进行增强，改善图像的质量。这种方法优势在于可以应用已有的成熟图像处理算法，可以对常用的图像算法进行针对性的运用和改良，增强图像的对比度，突出图像中景物的特征和有价值的信息。但是，这种方法可能会造成图像部分信息的损失，使图像失真。第二类是基于物理模型的方法，这种方法通过研究大气悬浮颗粒对光的散射作用，建立大气散射模型，了解图像退化的物理机理，并反演复原出未降质前的图像。这是一类专门针对雾天图像的图像复原的方法，复原出来的图像效果真实，贴近降质前景物原景，对复杂场景的图像处理效果较好，图像信息得到较完整的保存。
雾图模型
I(x) ——待去雾的图像
J(x)——无雾图像
A——全球大气光成分
t——折射率（大气传递系数）
暗通道先验
在无雾图像中，每一个局部区域都很有可能会有阴影，或者是纯颜色的东西，又或者是黑色的东西。因此，每一个局部区域都很有可能有至少一个颜色通道会有很低的值。把这个统计规律叫做Dark
Channel Prior。
暗通道定义
表示彩色图像的每个通道
Ω(x)表示以像素X为中心的一个窗口
意义:首先求出每个像素RGB分量中的最小值，存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波
计算折射率
右边第二项其实就是有雾图像的暗通道。
由于空间透视现象/浓淡远近，部分雾的存在有助于我们感知距离和深度，加权值修正：
估计大气光
1）选取暗通道图像暗通道最亮的0.1%的像素（一般来说，这些像素表示雾浓度最大的地方）
2）取输入图像里面这些像素对应的像素里面最亮的作为大气光
注：选中的像素未必是全图最亮的，而且要比选取全图最亮的方式鲁棒性更好。
去雾
大致就是这个流程：
1）求图像暗通道
2）利用暗通道计算出折射率
3）利用暗通道估计大气光
4）代回雾图公式去雾
二．深度学习卷积神经网络算法
在该文中，作者关注利用单一街景图像，对雨中的自动驾驶车辆进行去雨的任务。作者开发了一个以雨天图像为输入的卷积神经网络，并且可以从雨痕及雨痕积累造成的大气遮挡效应(霾、雾、霭)中，直接恢复干净的图像。该文提出了一个包含不同雨强、方向和模糊程度的合成街景图像数据集，用于训练和评估。作者根据合成数据集对该文方法进行了定性和定量的评价。实验表明，该文模型优于现有方法的模型。同时还在真实数据上定性地测试了该文的方法。该模型速度较快，对于1024_512的图像只需要0.05s的时间，还可以与现有的基于图像用于雨中自动驾驶的高级感知算法无缝集成。实验结果表明，该方法可以很大程度上提升雨中自动驾驶的语义分割和目标检测性能。
图1 该文的去雨去雾方法的效果对比，左图为原始图像，右图为处理后图像
图2 该文方法的神经网络架构图，左侧为K1分支，右侧为K2分支。
图3 合成数据集上不同方法的性能对比，从左到右依次为：雨天输入图像，Fu等人的方法，RESCAN，AOD-Net，该文方法，干净的真实图像。
图4 该文方法在真实世界图像上的表现
图5 语义分割表现，从左到右依次为：雨天输入图像，对雨天图像进行PSPNet网络语义分割，对该文方法处理后图像进行PSPNet网络语义分割，对真实图像进行PSPNet网络语义分割。
图6 目标检测表现，从左到右依次为：雨天输入图像，对雨天图像进行YOLOv3网络目标检测，对该文方法处理后图像进行YOLOv3网络目标检测，对真实图像进行YOLOv3网络目标检测。
卷积神经网络去雾去雨方法标题：A Convolutional Network for Joint Deraining andDehazing from A Single Image for Autonomous Driving in Rain作者：Hao Sun, Marcelo H. Ang Jr. and Daniela Rus来源：IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS)，2019一．
基于深层神经网络的
雾
天降级场景图像可见性增强摘要
如今，许多基于摄像头的高级驾驶员辅助系统( ADAS )已经被引入来帮助驾驶员，并确保他们在各种驾驶条件下的安全。驾驶员面临的一个问题是
雾
天驾驶时场景能见度下降，对比度降低。在本文，我们提出了一种新的
方法
，通过使用深度神经网络来解决这个问题。
雾
是一种常见的大气现象，空气中悬浮的水滴、灰尘、细沙或其他颗粒等都会引起成像清晰度的降低。单幅图像去
雾
是一个病态问题，其关键是如何准确地估计成像过程中的大气透射率。现有的图像去
雾
方法
普遍利用基于观察经验的先验知识来构建去
雾
模型。近几年，机器学习
方法
被逐步应用于图像去
雾
的研究中。
众所周知，人类的大脑可以在无附加信息的条件下从单个自然场景中迅速地识别出有
雾
区域。近几年，生物启发式的
卷积神经网络
在高层次视觉任务已取得成功的应用，如：图像分类、人脸识别、物体检测等。基于
卷积神经网络
的深度学习
方法
也开始逐步被应用于
北京城被中度污染天气包围，到处都是灰蒙蒙一片——
雾
霾天又来了。从11日起，
雾
霾天气就开始出现，根据北京环境监测中心最新预报，这一轮
雾
霾短期内不会明显好转，尤其是今明两天，北京空气质量维持在4级中度污染，
雾
霾会一直持续到本周日。
雾
霾是特定气候与人类活动相互作用的结果。高密度人口的经济生产及社会活动会排放大量细颗粒物，一旦排放量超过大气循环和承载能力，悬浮颗粒受静稳天气的影响持
通过
卷积神经网络
去除图像中的
雾
，通常是通过训练一个模型，使其学会从原始图像中识别和分离
雾
的特征，并将这些特征去除。 训练过程通常需要大量的有标记的图像数据，每个图像都有一个清晰的版本和一个有
雾
的版本。
具体来说，一个常用的
方法
是使用一个生成对抗网络(GAN)，其中生成器模型负责生成清晰图像，而判别器模型负责评估生成的图像是否与真实的清晰图像相似。 训练过程中，生成器不断尝试生成更加真实的图像，而...
要用python编写
卷积神经网络
去
雾
模型，您需要了解一些基本的图像处理知识以及
卷积神经网络
的基础知识。您可以使用一些开源的图像处理库，如TensorFlow和Keras，来帮助您实现这个任务。
首先，您需要准备训练数据，也就是一些有
雾
和清晰的图像对。然后，您可以使用
卷积神经网络
来学习如何将有
雾
的图像转换为清晰的图像。您可以使用卷积层来提取图像的特征，使用激活函数(如ReLU)来增强这些特征，并使用...
weixin_42361632:
