神经特征函数是一种结构化表示学习器

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Neural Eigenfunctions are Structured Representation Learners

该研究提出一种基于神经网络的参数化方法（神经特征映射）来学习无监督的积分算子主特征函数，通过数据增强的正相似性构建目标函数，实现可扩展的结构化表示学习。在图像检索中，其表示长度比主流自监督方法短16倍且性能相当，并成功应用于百万级节点的图数据表示任务。

　　

摘要：

本文重新探讨了通过特征分解在无标签监督的情况下学习结构化表示的经典方法。与之前基于谱的方法（如拉普拉斯特征映射）不同，我们采用神经网络对由核函数和数据分布定义的积分算子的主特征函数进行参数化建模，以提高可扩展性和合理的样本外泛化能力。为此，我们首先提出了一系列新的目标函数，将这些函数从EigenGame（Gemp等人，2020年）的方法推广到函数空间，用于学习神经特征函数。然后我们证明，当相似度度量基于数据增强设置中的正相关关系时，会得到一个类似于流行自监督学习方法的目标函数，并且该目标函数具有破坏对称性的特性，从而生成按重要性排序的特征的结构化表示。我们将这种结构化的、自适应长度的深度表示称为“神经特征映射”（Neural Eigenmap）。我们通过在实际的图像检索系统中使用神经特征映射作为自适应长度编码来验证其有效性。通过根据特征重要性进行截断，我们的方法所需的表示长度比主流的自监督学习方法短至16倍，但仍能实现类似的检索性能。此外，我们还将该方法应用于图数据，并在包含超过一百万个节点的节点表示学习基准测试中取得了显著成果。

引言

从无标签数据中自动学习表示是机器学习中的一个长期挑战。通常，这样做的动机是将数据映射到一个向量空间，在该空间中几何距离能够反映语义上的接近程度。例如，这可以通过找到最近邻来检索语义相关的信息，或者通过聚类来发现概念。此外，这些表示也可以作为输入传递给监督学习过程，从而无需进行特征工程。