(arxiv-2018)图像检索的注意力感知广义平均池化

(arxiv-2018)图像检索的注意力感知广义平均池化

图像检索的注意力感知广义平均池化

paper题目：ATTENTION-AWARE GENERALIZED MEAN POOLING FOR IMAGE RETRIEVALpaper是吉联科技集团发表在arxiv 2018的工作paper地址：​​链接​​

ABSTRACT

已经表明，由卷积神经网络 (CNN) 提取的图像描述符在检索问题上取得了显著的效果。本文将注意力机制应用于CNN，旨在增强与输入图像中重要关键点相对应的更多相关特征。生成的注意力感知特征然后通过广义均值 (GeM) 池化聚合，然后进行归一化以产生紧凑的全局描述符，该描述符可以通过点积有效地与其他图像描述符进行比较。在新的具有挑战性的 ROxford5k 和 RParis6k 检索基准上对本文提出的方法与最先进的方法进行了广泛的比较。结果表明与以前的工作相比有显著改进。特别是，本文的注意力感知 GeM (AGeM) 描述符在“Hard”评估协议下优于 ROxford5k 上的最新方法。

关键词——卷积神经网络、图像检索、注意力感知广义平均池化

1. INTRODUCTION

在计算机视觉中，实例级图像检索的任务是在给定查询图像的情况下，检索包含与查询相同对象的大型数据库中的所有图像。传统上，性能最佳的方法依赖于局部不变特征，如SIFT和基于这些局部特征的聚合策略，如BoW、VLAD或FV。结果表示通常被有效地索引和单独匹配，然后是重新排序阶段。

最近，基于卷积神经网络（CNN）的方法发展迅速。作为第一次尝试，一些工作提出使用由全连接层提取的特征，并展示了令人满意的性能。然而，仍然通过非基于 CNN 的方法获得了最先进的结果，并提出了卷积层作为替代方案。这些特征提取器具有的优点是可以从任何大小和纵横比的输入图像中有效地生成固定长度的紧凑表示。因此，已经撰写了一系列关于构建竞争图像表示的各种策略的论文，例如 SPoC、CroW、MAC或R-MAC描述符。这些方法与适当的后处理技术相结合时，首次产生了一个与基于局部特征的传统方法竞争或优于传统方法的系统。

然而，上述方法的一个主要缺点是图像描述符是使用为分类任务训练的现成模型直接提取的。虽然效率很高，但很明显，由于缺乏学习，改进收益有限。 Babenko 等人提出了第一个用于图像检索的微调方法，该方法在一组更适合检索任务的新landmark图像上使用分类损失。后来，Gordo 等人认为，被优化的相似性度量应该与最终任务中使用的相似性度量一致。基于 R-MAC 管道，深度图像检索 (DIR) 网络使用排名损失在干净版本的 Babenko 数据集上进行端到端训练。同时，Radenovi´c 等人 的工作通过利用运动结构 (SfM) 管道消除了手动收集/清理用于训练的大规模数据集的需要。此外，引入了一种新颖的广义均值 (GeM) 池化操作，与之前的工作相比获得了更多的性能提升。

受 Wang 等人最近的工作的启发，将注意力模块插入 CNN 以提高分类任务的性能，通过考虑双分支网络来整合（软）注意力机制：与上述相同的主分支工作，由最终池化层之前的基础架构和一个注意力分支组成，该注意力分支由以前馈方式应用于由基础架构中的各种先前块生成的特征图的附加层组成。然后，两个分支的输出通过注意力残差学习机制组合在一起，如 [15] 中所示，以生成注意力感知特征，这些特征通过 GeM 操作聚合以产生紧凑的图像表示，称为注意力感知 GeM（AGeM ) 描述符。额外的注意力分支很容易实现，可以通过反向传播进行训练，并且只增加了很小的计算开销。

2. PROPOSED METHOD

2.1. Network and Pooling

2.2. Attention-Aware GeM

图 1. 提出的方法的一般概述。

2.3. Loss Function and Whitening

参考文献

[15] F. Wang, M. Jiang, C. Qian, S. Y ang, C. Li, H. Zhang, X. Wang, and X. Tang, “Residual attention network for image classification,” in CVPR, 2017.

[12] F. Radenovi´c, G. Tolias, and O. Chum, “Fine-tuning cnn image retrieval with no human annotation,” in TPAMI, 2018.

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。