DeepWindow论文简读

DeepWindow论文简读

文章目录

​​摘要​​​​论文的贡献​​​​方法​​

​​Road Center Estimation Model​​​​Automatic Searching of Tracking Seeds​​​​Road Direction Estimation​​​​Iterative Topology Tracking​​

摘要

道路中心线提取是道路网提取和建模的关键环节。传统道路提取方法中的工艺特征工程不稳定，使得提取的道路中心线在复杂情况下偏离道路中心，甚至导致整体提取误差。近年来，基于深度神经网络语义分割的道路中心线提取方法大大优于传统方法。然而，训练深度学习模型的像素标签是昂贵的，道路分割的后过程容易出错。受人体姿态估计工作的启发，我们提出了一种从遥感图像中自动提取道路网络的新方法。

深度窗口使用一个由基于CNN的决策功能引导的滑动窗口，直接从图像中跟踪道路网络，而不需要预先进行道路分割。首先，我们设计并训练了一个CNN模型来估计一个补丁内的道路中心点。然后，利用CNN模型自动逐个搜索道路种子。最后，从种子开始，首先使用傅里叶光谱分析算法估计道路方向，然后利用CNN模型沿道路方向迭代跟踪道路中线。在我们的方法中，CNN模型采用点注释进行训练，与语义模型训练相比，大大降低了训练成本。我们的方法取得了与最先进的道路提取方法相当的性能，广泛的实验表明，我们的方法对点偏差具有鲁棒性。

论文的贡献

我们提出了深窗口，一种方法，使用一个修补的CNN模型来从遥感图像跟踪道路网络。与以往的方法不同的是，我们的方法直接从图像中提取准确的道路中心线，而没有道路分割的指导。最重要的是，我们不需要准备一个精确的掩膜。每个训练样本只用几个点来标记，这大大降低了模型训练的成本。此外，我们的算法可以自动搜索跟踪种子，这使跟踪算法完全自动化。具体地说，我们提前训练了一个CNN模型，它输出一个概率图，其中包含每个像素作为一个影像切片中的道路中心点的置信度。然后，利用CNN模型自动寻找道路种子，这是我们的道路跟踪方法的起点。我们还使用CNN模型来推断以每个滑动步为中心的每个影像切片的置信图，并从NMS的地图中选取一些点作为候选道路中心点。根据道路的当地特征，确定最优点。最后，我们用一条直线连接选定的点和以前的道路中心点，并以固定的距离向前走一步。迭代执行上述过程，最后跟踪一个完整、精细的路网，如图所示。2.更多样本见，1本文的贡献总结如下。

方法

Road Center Estimation Model

如上所述，该模型的功能是估计一个给定地块的道路中心点。为了解决这个问题，我们将道路中心点作为一个补丁的背景下的一个特殊点。我们的目标是设计一个深度神经网络，根据局部纹理推断可能的道路中心点。我们发现，特殊点估计在人体姿态估计领域已经研究了几十年。为了估计人体的姿势，人体关节的位置，如头、颈、肩和肘部，需要首先找到这些位置，根据图像的局部背景被视为特殊点。这些点被编码为以高斯图为中心的热图。受这个想法的启发，我们还将道路中心点编码为道路中心点作为模型训练的地面真相。实验发现，该模型确实能够学习道路中心点与局部纹理之间的关系。

密歇根大学的一个研究小组提出了一个用于人体姿态估计[33]的堆叠沙漏网络。该模型利用一个完全卷积网络，为给定的单一RGB图像输出人体关键点的精确像素位置，并使用多尺度特征来捕获人体每个关节点的空间位置信息。网络的核心被设计成沙漏，重复自上而下到自下向上，以推断人体关节点的位置。

每个自上而下到自下而上的结构都是一个沙漏模块。随后的许多人体姿态估计方法都是由沙漏网络结构演变而来的。可以说，沙漏网络的结构已经得到了该行业的批准。采用堆叠沙漏网络结构构建道路中心估算模型，如图所示。4.更具体地说，我们在网络中堆叠了两个沙漏模型，并将第一个卷积层替换为内核大小7×7、步幅1和填充3像素，以保持作为输入补丁的分辨率的一致。

此外，我们将每个沙漏模型的输出深度降低到1，也就是说，我们强制网络编码一个通道中每个像素的概率，无论补丁中有多少道路的中心。图中的虚线框。4详细介绍了我们修改后的沙漏模型，其中输入逐渐向下采样四次，每个比例都保持了整个沙漏中一致的特征数量。

我们提出了模型训练的加权交叉熵损失(WCELoss)，可以写成（1），其中N是样本补丁中的像素数，yi是地面真值的单位值，靠近道路中心接近1，在其他位置接近0，详见IV-A节，yˆi是输出图的单位值。Eyi是惩罚在道路中心附近发生的误差的重量因素。λ是一个比例因子，用于控制道路中心附近的误差造成的损失比率。

WCELoss背后的简单想法是考虑监督训练中的极端不平衡标签问题。地面真相中的所有标签几乎都是零，除了道路中心周围的少量非零，这抑制了模型的输出。换句话说，如果每个位置的误差测量等，模型可以通过预测接近零的输出来实现较低的损失。我们可以增加λ来提高模型的全局输出，但全局输出的增加并不影响对道路中心的判断，因为我们通过筛选输出的峰值来选择它们，因此，在我们的实验中，λ被固定为1。

Automatic Searching of Tracking Seeds

一旦训练了道路中心点估计模型，我们就可以自动找到道路跟踪的种子。分辨率64×64的补丁从图像从上到向下连续裁剪，不重叠，利用道路中心点估计模型推断每个补丁的道路中心点。对于一个补丁，我们只保留一个点作为种子，其置信度是最大值，并且超过了某个阈值。值得注意的是，我们根据经验将置信度阈值设置为高值，以确保种子的精度。对于一个1500×1500的图像，可能会自动发现大量的种子，而其中许多可能无法使用。当我们开始从种子进行跟踪时，许多自动搜索的种子将在跟踪过程中被访问，这些被访问的种子稍后将被丢弃。

Road Direction Estimation

通常，大多数用于跟踪细丝的跟踪算法都需要起点和初始跟踪方向。为了减少人工干预，我们自动估计跟踪方向。根据高分辨率遥感图像中道路的先验情况，道路的边缘与周围环境的纹理形成了鲜明的对比。特别是在本文的情况下，道路方向仅基于一个小块的位置估计，其中道路边缘更明显，干扰较少。因此，这些当地地区的道路特征自然更加突出。我们可以有力地估计出主要的方向。

有意义的结构是由有纹理的表面形成的或出现在有纹理的表面上，这可以是规则的，接近规则的，或不规则的[34]。纹理是有方向性的，而纹理的方向是一个区域概念。谈论一个孤立的像素的方向性是没有意义的。换句话说，道路方向是指斑块内规则纹理的方向。规则纹理的规律性和周期性使纹理原语能够在整体上体现一些特征，如方向。边缘对人类的视觉有很大的影响，而边缘的主要方向代表了纹理的方向。从傅里叶谱的角度来看，对于具有相同方向性的规则纹理，它在傅里叶谱中的能量集中在通过原点的线上，线的方向垂直于纹理的方向。

更具体地说，canny[35]用于扫描双边滤波[36]后灰度贴片的边缘，然后将扫描的贴片转换为离散傅里叶谱。最后，根据（2)和(3）计算主谱能量θmax的方向，其中w为片宽度，fft_img为片狭窄边缘的傅里叶谱，每1度计算谱能量E。θmax的正交方向被视为道路的方向，如图所示。5

Iterative Topology Tracking

我们将拓扑跟踪视为依赖于补丁道路中心估计模型的滑动窗口过程。首先，利用道路中心估计模型自动搜索大量种子。从其中一个种子开始，裁剪一个以种子为中心的分辨率为64×64的补丁。然后，利用频谱分析算法估计了补丁中道路的主要方向。之后，窗口沿道路方向以固定距离向前走，裁剪窗口对应的补丁并输入道路中心估计模型，该模型将输出与输入补丁大小相同的概率图（第二沙漏的输出）。地图中每个像素的概率表示补丁中的像素作为道路中心的置信度。我们认为，最接近滑动方向的位置pc是最有可能的道路中心。最后，电脑用一条直线连接到以前的道路中心pv。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。