基于超大尺寸图像的语义分割论文和代码汇总

基于超大尺寸图像的语义分割论文和代码汇总

文章目录

​​2019​​

​​Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images​​

​​2020​​

​​CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement​​​​Patch Proposal Network for Fast Semantic Segmentation of High-Resolution Images​​

​​2021​​

​​Progressive Semantic Segmentation(CVPR)​​​​High Quality Segmentation for Ultra High-resolution Images​​​​Rich CNN Features for Water-Body Segmentation from Very High Resolution Aerial and Satellite Imagery​​​​From Contexts to Locality: Ultra-high Resolution Image Segmentation via Locality-aware Contextual Correlation(ICCV)​​​​UHRSNet: A Semantic Segmentation Network Specifically for Ultra-High-Resolution Images​​

​​2022​​

​​Looking Outside the Window: Wide-Context Transformer for the Semantic Segmentation of High-Resolution Remote Sensing Images​​​​SegBlocks: Block-Based Dynamic Resolution Networks for Real-Time Segmentation​​​​ISDNet: Integrating Shallow and Deep Networks for Efficient Ultra-high Resolution Segmentation​​

2019

Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images

code: ​​超高分辨率图像的分割要求越来越高，但对算法效率带来了重大挑战，特别是考虑到(GPU)内存限制。目前的方法要么对一个超高分辨率的图像进行降采样，要么将其裁剪成小块进行单独处理。无论哪种方式，局部细节或全局上下文信息的丢失都会导致有限的分割精度。我们提出了协作的全局本地网络(GLNet)，以一种高内存效率的方式有效地保存全局和本地信息。GLNet由一个全局分支和一个局部分支组成，分别将降采样的整个图像及其裁剪后的局部斑块作为各自的输入。在分割方面，GLNet深度融合了来自两个分支的特征映射，从放大的局部补丁中捕获高分辨率的精细结构，并从降采样的输入中捕获上下文依赖关系。为了进一步解决背景区域和前景区域之间潜在的类不平衡问题，我们提出了一个从粗到细的GLNet变体，它也具有内存效率。在三个真实世界的超高空中和医学图像数据集（分辨率高达3000万像素）上进行了广泛的实验和分析。由于仅使用了一个1080TiGPU和不到2GB的内存，我们的GLNet产生了高质量的分割结果，并与最先进的技术相比，实现了更具竞争力的精确内存使用权衡。

2020

CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement

code: ​​Proposal Network for Fast Semantic Segmentation of High-Resolution Images

摘要： 尽管近年来高分辨率图像的分割取得了研究进展，但仍存在一个未解决的问题，即分割精度、内存资源和推理速度之间的权衡。到目前为止，GLNet被引入用于高分辨率或超分辨率的图像分割，这降低了分割网络的计算内存。但是，它忽略了不同裁剪补丁的重要性，并将平贴补丁与整个图像平等地进行融合，导致计算成本较高。为了解决这一问题，本文引入了一种斑块建议网络(PPN)，自适应地将关键斑块与琐碎补丁区分开来，与整个图像融合进行细化分割。PPN是一种分类网络，它减轻了网络训练的负担，提高了分割的精度。我们进一步将PPN嵌入到一个全局局部分割网络中，指示全局分支和重新细化分支协同工作。我们在四个图像数据集上实现了我们的方法：深度地球、ISIC、CRAG和城市景观，前两个是超分辨率图像数据集，后两个是高分辨率图像数据集。实验结果表明，与现有的分割方法相比，该方法几乎取得了最好的分割性能，在深度球上的推理速度为12.9fps，在ISIC上为10fps。此外，我们将PPN嵌入到一般语义分割网络中，并对包含更多对象类的城市景观的实验结果证明了其对一般语义分割的泛化能力。

论文的贡献：在本文中，我们提出了一种具有更好的分割性能和快速速度的优雅和高效的解决方案。从FasterRCNN(Renetal.2015)中借鉴，我们设计了一个补丁建议子网络(PPN)，这是一个二元分类网络，旨在区分重要的补丁和琐碎的补丁。换句话说，PPN选择包含对象边缘或需要细化的细节的补丁，而补丁只包含容易被忽略的背景或平面区域。我们进一步将PPN嵌入到一个全局-本地网络中，该网络包含一个全局分支和一个细化分支，名为GRNet。与GLNet不同的是，我们将更多的计算资源分配给更重要的补丁，从而避免了琐碎补丁的时间消耗。此外，我们只融合了全局和局部特征映射一次。

2021

Progressive Semantic Segmentation(CVPR)

code : ​​Quality Segmentation for Ultra High-resolution Images

code: ​​分割4K或6K超高分辨率图像在图像分割中需要额外的计算。常见的策略，如降采样、斑块裁剪和级联模型，都不能很好地解决精度和计算成本之间的平衡问题。基于人类从粗糙到精确的水平连续区分对象，我们提出了连续细化模型(CRM)用于超高分辨率分割细化任务。CRM不断地将特征图与细化目标对齐，并聚合特征来重建这些图像的细节。此外，我们的CRM显示了其显著的泛化能力，以填补低分辨率训练图像和超高分辨率测试图像之间的分辨率差距。我们提出了定量的性能评估和可视化，以表明我们提出的方法是快速和有效的图像分割细化。

论文的贡献：

我们提出了一个通用的连续细化模型(CRM)。在超高分辨率分割细化中，引入了一种利用连续位置信息和连续对齐潜在图像特征的隐式函数。在没有基于级联的解码器的情况下，我们有效地降低了计算成本，同时重建了更多的细节。具有多分辨率推理的•CRM适用于使用低分辨率训练图像和超高分辨率测试图像。由于设计简单，即使从低分辨率细化到高分辨率，总推理时间也不到CascadePSP[9]的一半。在实验中，CRM对超高分辨率图像的分割效果最好。它还有助于提高最先进的全光学分割模型的性能，而没有微调。

Rich CNN Features for Water-Body Segmentation from Very High Resolution Aerial and Satellite Imagery

From Contexts to Locality: Ultra-high Resolution Image Segmentation via Locality-aware Contextual Correlation(ICCV)

code: ​​超高分辨率图像分割的实际应用，近年来引起了越来越多的关注。在本文中，我们创新了广泛使用的高分辨率图像分割管道，即将超高分辨率图像分割成规则的斑块进行局部分割，然后将局部结果合并为高分辨率语义掩码。特别地，我们引入了一种新的基于局部感知上下文相关的分割模型来处理局部斑块，其中局部斑块与其各种上下文之间的相关性被联合和互补地用来处理变化较大的语义区域。此外，我们提出了一个上下文语义细化网络，该网络将局部分割结果与其上下文语义关联起来，因此在生成最终高分辨率掩模的过程中，具有减少边界伪影和细化掩模轮廓的能力。

UHRSNet: A Semantic Segmentation Network Specifically for Ultra-High-Resolution Images

摘要： 语义分割是计算机视觉中的一项基本任务，但人们对超高分辨率(UHR)图像分割的研究却十分有限。由于UHR图像占用过多的内存，因此不能直接放入GPU中进行训练。以前的方法是将图像裁剪成小的斑块或对整个图像进行降采样。裁剪和降采样会导致上下文和细节的丢失，这对分割精度至关重要。为了解决这一问题，我们在以往的工作中改进和简化了局部和全局特征融合方法。从斑块中提取局部特征，从降采样图像中提取全局特征。同时，我们首次提出了一种新的融合方法，即局部特征融合，它可以使斑块从周围的斑块中获取信息。我们将具有这两种融合的网络称为超高分辨率分割网络(UHRSNet)。这两种融合可以有效地解决种植和降采样引起的问题。实验表明，在深地球数据集上有了显著的改进。

2022

Looking Outside the Window: Wide-Context Transformer for the Semantic Segmentation of High-Resolution Remote Sensing Images

code: ​​远程上下文信息对于高分辨率(HR)遥感图像(RSIs)的语义分割至关重要。然而，通常用于训练神经网络的图像裁剪操作限制了大型rsi中对随机上下文的感知。为了克服这一限制，我们提出了一种宽上下文网络(WiCoNet)用于HRRSIs的语义分割。除了用传统的CNN提取局部特征外，WiCoNet还有一个额外的上下文分支来从更大的图像区域聚合信息。此外，我们还引入了一个上下文转换器来嵌入来自上下文分支的上下文信息，并选择性地将其投影到局部特征上。上下文变换器扩展了视觉变换器，一种新兴的神经网络，以建模双分支语义相关性。它克服了cnn的局部性限制，使WiCoNet在分割土地覆盖/土地利用(LCLU)类之前能够看到更大的图像。在几个基准数据集上进行的消融研究和比较实验证明了该方法的有效性。此外，我们提出了一个新的北京土地利用(BLU)数据集。这是一个具有高质量和细粒度参考标签的大规模HR卫星数据集，有助于该领域的未来研究。

论文的贡献：

1）提出了一种用于HRrsi语义分割的宽上下文网络(WiCoNet)。WiCoNet包括两个cnn，它们分别从局部和全局图像级别中提取特征。这使得WiCoNet可以同时考虑局部细节和考虑宽上下文；2)提出一个上下文转换器来建模双分支语义依赖关系。上下文转换器将双分支CNN特征嵌入到扁平的标记中，并通过跨局部和上下文标记的重复注意操作来学习上下文相关性。因此，投影的局部特征知道广泛的上下文信息；3)提出一个基准数据集(即北京LandUse(BLU)数据集)，用于RSIs的语义分割。这是一个根据土地利用类型标注的人力资源卫星数据集。我们相信，这个数据集的发布可以极大地促进未来的研究。

SegBlocks: Block-Based Dynamic Resolution Networks for Real-Time Segmentation

code: ​​Integrating Shallow and Deep Networks for Efficient Ultra-high Resolution Segmentation

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。