MIARS：基于互信息的特征选择方法，结合角度重建和语义对齐技术，用于多标签学习

《Knowledge-Based Systems》：MIARS: Mutual Information-Guided Feature Selection With Angle Reconstruction and Semantic Alignment for Multi-Label Learning

针对多标签特征选择中的非平滑优化、标签相关性利用不足及特征冗余与可区分性平衡难题，提出MIARS方法。通过离散标签超球面映射实现连续优化与全局结构保留，引入正交旋转矩阵增强语义对齐，结合互信息矩阵与l2,0范数约束实现高效特征选择。实验验证其显著优于现有方法。

　　

李瑞佳|陈宏|马英仓|聂飞平|黄一晓

西安工程技术大学理学院，中国西安，710048

摘要

为了解决多标签特征选择中的关键挑战，包括由于离散标签表示导致的非光滑优化问题、由于忽略标签相关性而导致的泛化性能不足，以及难以平衡特征区分度和冗余性问题，我们提出了一种基于互信息的角度重建和语义对齐（MIARS）特征选择方法。该方法通过三项核心技术创新取得了突破性进展：首先，它创新地将离散标签映射到单位超球空间，并通过最小化角度重建误差（ARE）来实现连续标签表示，有效保持了标签之间的全局相似性结构；其次，引入了正交旋转矩阵优化机制，通过最大化伪标签与真实标签之间的余弦相似度来实现精确的语义对齐；最后，采用结合互信息矩阵和?_2,0-范数约束的策略，直接选择具有低冗余度和高区分度的最优特征子集。在九个基准数据集上的实验结果证明了MIARS的有效性。

引言

在当前大数据时代，高维数据的多标签特征选择技术在图像识别[1]、自然语言处理[2]和生物医学[3]等领域至关重要。然而，数据维度的急剧增长导致特征空间中充斥着大量无关和冗余的特征，这严重限制了模型性能的进一步提升[4]。因此，如何从海量特征中精确选择出对多个标签都具有高区分度且相互之间不冗余的特征子集，已成为提高高维多标签学习效果的核心瓶颈[5]。

根据与分类任务的关系，多标签特征选择方法可以分为三类：基于过滤的方法[6]、基于包装的方法[7]和嵌入式方法[8]。基于过滤的方法通过评估特征与标签之间的相关性来选择特征，完全独立于分类模型。虽然计算效率高，但选出的特征可能无法最佳适应模型[9]。基于包装的方法将特征选择视为一个搜索问题，直接优化模型性能，但它们存在计算成本高且容易过拟合的问题[10]。相比之下，嵌入式方法将特征选择器集成到分类模型的学习过程中，实现在模型训练期间自动选择特征，从而在效率和性能之间取得了良好的平衡[11]。因此，本文重点讨论嵌入式多标签特征选择。

特别值得注意的是，传统的多标签特征选择方法在处理高维数据时主要面临三个关键挑战[12]：首先，离散的二进制标签表示导致目标函数是非光滑和非凸的，不仅使优化过程容易陷入局部最优解，还显著增加了计算复杂性[13]。尽管现有研究尝试通过连续方法（如标签嵌入）来缓解这一问题，但它们仍然无法从根本上保持原始标签空间的几何结构。例如，何等人提出的CLE-MLFS方法[14]通过稀疏重建将二进制标签转换为连续分布，但未能从根本上克服由离散性引起的非光滑优化问题；史等人提出的SFS-BLL方法[13]利用二进制哈希约束和ADMM框架来处理离散优化。尽管其实验收敛性能令人满意，但在大规模场景中，迭代优化和图构建过程仍可能面临计算效率瓶颈。

其次，大多数方法未能充分探索和利用标签之间的复杂关联结构。主流方法通常假设标签是独立的，忽略了标签相关性中隐含的图结构信息，这导致选出的特征子集的泛化能力不足[15]。例如，张等人提出的MFSJMI方法[16]使用联合互信息和交互权重来建模标签相关性，但在处理三阶及更高阶关联时仍存在局限性。另一方面，张等人提出的GLFS方法[17]试图通过利用局部相关性来改进特征选择，但难以有效保持全局几何结构。

第三，如何高效且明确地平衡特征区分度和冗余性仍然是一个关键挑战，目前的研究尚未完全解决。高维特征空间中普遍存在的特征冗余会严重损害模型性能和泛化能力。尽管姚等人在MSMFS方法中引入了基于相关阈值的特征冗余惩罚和贪婪更新机制，陈等人在HSR-MLFS方法中基于多标签模糊依赖性对特征重要性进行了排序，但这些优化策略往往依赖于局部贪婪选择或特征排序。因此，它们难以保证全局最优解，也无法提供一种高效、明确和系统的方案来平衡冗余消除和区分能力。

为系统解决上述挑战，我们提出了一种创新的高维多标签特征选择方法，称为MIARS。该方法通过三项核心技术创新构建了一个统一的特征选择框架：首先，为了解决由离散标签表示引起的非光滑优化问题，我们创新地将离散二进制标签映射到单位超球上，并通过最小化角度重建误差来实现连续标签表示。这种方法不仅将非凸的离散优化问题转化为更易处理的连续优化问题，还有效保持了原始标签空间的全局相似性结构；其次，为了解决现有方法在建模标签相关性方面的局限性，我们引入了正交旋转矩阵以实现语义空间中的精确对齐。通过最大化伪标签与真实标签之间的余弦相似度来建立最优映射，有效避免了语义失真，从而增强了特征选择的区分能力；第三，为了明确且高效地平衡特征区分度和冗余性，我们提出了一种基于互信息矩阵和?_2,0-范数约束的直接特征选择机制。该策略可以直接选择具有低冗余度和高区分度的特征子集，从根本上克服了特征独立性的理想化假设和传统方法中的冗余积累问题。

本文的主要贡献可以总结如下：

•

创新地将离散标签映射到单位超球上，并通过最小化ARE来保持标签之间的全局相似性结构，有效解决了由离散表示引起的非光滑优化问题。

•

引入正交旋转矩阵，通过最大化伪标签与真实标签之间的余弦相似度来实现语义空间中的精确对齐，从而减轻语义信息损失。

•

提出了一种结合互信息矩阵和?_2,0-范数约束的特征选择策略，能够有效选择具有高区分度和低冗余度的特征子集。

本文的其余部分组织如下。第2节详细回顾和总结了现有的多标签特征选择方法及伪标签学习的相关进展。第3节阐述了所提出的MIARS方法的核心框架和关键机制。第4节重点介绍了MIARS的优化策略，提出了一种交替迭代优化方法，并分析了时间复杂性和收敛性。第5节通过多个基准数据集的实验验证了MIARS的有效性。第6节总结了本文的主要贡献，并讨论了潜在的未来研究方向。

相关工作

相关工作

本节系统回顾了多标签学习在两个维度上的研究进展：特征选择和信息论的应用。

提出的方法

我们提出了一种名为MIARS的新多标签特征选择方法，该方法通过三个关键模块的协同优化实现高效特征选择：角度重建的全局一致性保持、正交旋转的语义对齐和基于互信息的特征学习。为了便于理解，图1展示了MIARS的总体框架。

解决方案

在构建的优化框架内，我们采用交替迭代策略来解决目标函数（22）。这种分解方法将原始问题转化为三个结构良好的子问题，不仅降低了解决方案的复杂性，还保证了算法的收敛性。每个子问题都是针对一组不同的变量进行优化的，同时保持其他变量不变，从而建立了高效的交替更新机制。

实验与分析

本节通过多维验证、比较实验、统计测试分析和消融实验系统评估了MIARS方法的有效性和鲁棒性。

讨论与结论

本研究提出了一种创新的多标签特征选择方法MIARS，该方法结合了互信息矩阵、角度重建误差和正交旋转矩阵，实现了高效的特征子集选择和标签语义对齐。该方法具有三个关键创新点：将离散标签映射到超球空间并最小化ARE以保持标签之间的几何结构，从而解决了传统离散方法中的非凸性问题。

未引用的图表

图3、图4、图5、图6、图7、图8、图9。表3、表4和表5。

CRediT作者贡献声明

李瑞佳：撰写 – 审稿与编辑、撰写 – 原始草稿、软件、方法论、调查。陈宏：撰写 – 审稿与编辑、监督、方法论。马英仓：概念化。聂飞平：资源。黄一晓：数据管理。

利益冲突声明

李瑞佳声明他们与任何可能被视为潜在利益冲突的商业利益没有相关的财务或个人关系。李瑞佳还确认，本研究是在没有任何可能被视为潜在利益冲突的商业或财务关系的情况下进行的。

致谢

本研究得到了陕西省自然科学基础研究计划（项目编号2024JC-YBMS-015）、中国外国专家计划（项目编号DL2023041002L）、榆林市工业大学研究项目（项目编号CXY-2022-59）、陕西省教育厅资助的科学研究计划（项目编号24JK0470）、中国陕西省科学技术协会青年人才基金（项目编号20250518）以及