双曲空间中的层次排序：一种新颖的度量学习方法

《Neural Networks》：Hierarchical Ranking in Hyperbolic Space: A Novel Approach to Metric Learning

提出基于超几何空间的层次化排名框架HRG与HRL，无需显式聚类即可捕捉隐式层次关系，优化计算复杂度并提升性能。

　　

张书达|李慧颖

吉林大学，计算机科学与技术学院，中国吉林省长春市

摘要

将深度度量学习与双曲几何相结合，在捕捉复杂的层次关系方面显示出巨大潜力。然而，现有的基于聚类的方法难以充分利用双曲空间的特性，尤其是在没有真实层次标签的情况下，优化聚类中心和距离度量在指数级扩展的空间中是一项挑战。此外，黎曼运算的计算复杂性使得维护层次结构变得成本高昂，尤其是在处理大型数据集时。为了解决这些挑战，我们提出了一种新的层次排名框架，该框架利用潜在的层次信息而无需依赖显式的聚类。该框架引入了层次排名生成（HRG）策略和层次排名损失（HRL）。HRG基于类之间的语义关系生成排名标签，而HRL在多个层次上优化这些排名，使模型能够学习到更丰富、更细致的表示。我们的方法显著提高了性能，在CUB-200-2011数据集上的表现比现有最佳方法提高了2.4%，在Cars-196数据集上的表现提高了1.6%（召回率@1）。

引言

深度度量学习（DML）旨在学习一种能够有效捕捉高维空间中数据点之间语义相似性的距离度量。它在各种视觉任务中已成为基础技术，包括图像检索（Cao等人，2017年）；人脸识别（Liu等人，2017年）；人物重新识别（Xiao等人，2017年）；少量样本学习（Qiao等人，2019年）。DML方法通常将输入数据嵌入到一个空间中，其中语义相似的实例放置得较近，而不同的实例则放置得较远。大多数方法通过使用对比损失（Hadsell等人，2006年）、三元组损失（Schroff等人，2015年）或基于分类的目标（如交叉熵损失Boudiaf等人，2020年）来优化成对关系。最近，研究人员提出了增强嵌入质量的替代策略，包括分解表示（Wang等人，2023年）、带有上下文记忆的自适应配对加权（Yan等人，2024年）以及改进的池化技术以实现更有效的特征聚合（Gürbüz等人，2023年）。

在DML中，样本之间的语义亲和力传统上是通过它们的人类标记类别的等价性来引导的。然而，这些标签仅提供了关于样本之间可能关系的有限视角，可能会忽略类别之间语义亲和力的程度（Kim等人，2023年）。为了解决这一限制，基于聚类的方法在探索真实世界数据中的层次关系方面特别有效。其中，双曲嵌入因其能够自然表示树状层次结构而脱颖而出。与欧几里得空间不同，在双曲空间中距离呈指数级增长，这使得它非常适合捕捉每个层次覆盖的数据点子集呈指数级扩大的关系。

几种方法已经利用双曲空间进行度量学习。例如，UnHypML（Yan等人，2021年）使用聚类算法创建层次伪标签，使样本对之间的距离与预定义的相似性比率对齐。另一种值得注意的方法是HIER（Kim等人，2023年），它引入了层次代理作为数据组的代表点（或祖先），优化它们在双曲空间中的位置以捕捉连续的层次表示。尽管有这些进展，当前的基于聚类的方法仍然难以充分利用双曲空间的优势。

一个主要挑战是缺乏真实的层次标签，这使得同时优化聚类中心和距离度量变得复杂。随着在双曲空间中向外移动，体积的迅速增加会进一步放大这个问题，这可能会扭曲距离并使学习过程复杂化。此外，在训练过程中维护层次结构通常需要频繁更新，这对于大型数据集来说计算成本很高。双曲空间中黎曼运算的固有复杂性进一步增加了计算负担，限制了可扩展性。

为了解决这些限制，我们提出了一种新的层次排名框架，该框架在双曲空间中运行，而不依赖于显式的聚类结构。我们的方法基于基于代理的度量学习，其中每个类的代理代表点使用模型先验和标记数据在嵌入空间中定位。这些代理的排列自然揭示了一个隐含的层次结构，捕捉了类别之间的关系。我们没有将代理组织成显式的层次结构，而是利用双曲空间的特性，其中非相邻点之间的距离失真被最小化（Sarkar，2011年）。通过关注代理之间的双曲距离，我们得出了一个反映层次关系的排名结构，而无需显式聚类（如图1所示）。

这个层次排名框架包括两个关键组成部分：层次排名生成（HRG）和层次排名损失（HRL）。HRG生成排名标签，捕捉细粒度类别之间的语义相似程度。与通常产生模糊聚类中心的传统聚类算法不同，HRG提供了对类别关系的更细致理解，并随着模型的学习不断细化这些关系。

一旦建立了这个排名结构，度量学习任务就转变为一个学习排序问题，其中样本被视为查询，代理被视为候选项。特别关注保持类别之间的适当间隔，确保样本向其各自的代理靠近，同时不破坏整体的层次关系。为了解决潜在的层次冲突，我们引入了HRL并应用了权重衰减策略来平衡层次结构的多个层次上的优化，使模型能够学习到更强、更可靠的表示。

总结来说，我们的贡献如下：

•

HRG在双曲空间中生成伪排列，无需显式聚类即可紧密逼近真实的语义排名。

•

HRL利用排名标签并采用权重衰减策略来平衡不同层次的贡献，从而提高模型性能。

•

我们基于排名的方法通过利用双曲空间的特性，降低了聚类复杂性并显著提高了性能。

相关研究

相关工作

基于代理的DML。度量学习损失函数主要分为基于成对的方法和基于代理的方法。基于代理的损失通过使用每个类的少数代表点（代理）而不是比较单个样本对，从而显著减少了计算负担。最早的方法之一是Proxy-NCA（Movshovitz-Attias等人，2017年），它使用邻域成分分析（NCA）来学习每个类的单个代理。

方法

本节概述了初步概念，包括庞加莱球模型和层次度量学习目标，然后详细介绍了层次排名框架。

实验

本节在四个深度度量学习基准数据集上评估了我们提出的方法，并将其性能与当前的最佳方法进行了比较。

结论

在本文中，我们提出了一种利用双曲几何优势的层次排名框架。我们的方法包括层次排名生成（HRG）和层次排名损失（HRL），通过将类别关系嵌入到全局隐含层次结构中，消除了对显式聚类的需求。HRG通过自监督排名结构捕捉数据中的潜在语义层次结构，而HRL则对其进行细化和优化。

CRediT作者贡献声明

张书达：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。李慧颖：撰写——审阅与编辑、监督、资源管理、项目协调、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了中国吉林省科学技术发展计划（授权号20230201089GX）的支持。