强化学习辅助的稀疏种群共同进化算法在多组分光谱特征选择中的应用

《Swarm and Evolutionary Computation》：Reinforcement learning assisted sparse population coevolutionary algorithm for multi-component spectral feature selection

本文提出一种基于深度强化学习的协同进化算法用于多组分光谱特征选择，通过辅助种群和动态奖励机制解决传统方法忽视数据间潜在合作的问题，实验表明其优于四种经典多目标进化算法。

　　

张盼盼|何一兰|荣静|田叶|张亚杰|杨尚尚|张星怡

西安工业大学电气工程学院，中国西安，710048

摘要

作为光谱定量分析中的关键步骤，光谱特征选择旨在从高维光谱数据中识别出最相关和最重要的特征。这一过程旨在提高浓度预测模型的准确性，同时降低模型复杂性。然而，现有的进化算法未能考虑到这一问题中的潜在合作性，这可能会降低性能。本文提出了一种基于深度强化学习的稀疏种群协同进化算法，用于多组分光谱特征选择。该算法引入了辅助稀疏种群用于单组分光谱特征选择，并利用深度Q学习网络（DQN）作为进化辅助工具，从而加速主稀疏种群在多组分光谱特征选择中的探索和利用过程。DQN建立了从种群状态到辅助种群选择动作的映射，用于协同进化。每一代中，根据主种群当前的状态选择最佳的辅助进化种群，从而促进向帕累托最优解的收敛。实验中使用了肉类和烟气数据集来评估所提算法的有效性。实验结果表明，该算法在多组分光谱特征选择方面优于四种最先进的进化算法。

引言

近年来，随着化学计量学和仪器技术的快速发展，由于其快速性和非破坏性，光谱定量分析已广泛应用于电力、食品、农业和化学等多个领域[1]、[2]、[3]、[4]。光谱定量分析的理论基础是朗伯-比尔定律[5]，该定律指出，在理想状态下，物质在不同波长处的吸光度与其浓度呈线性关系。由于其对噪声数据和共线性数据的处理能力以及提供稳定预测模型的能力，偏最小二乘法（PLS）常用于光谱定量分析中，以从光谱数据构建组分浓度预测模型[6]、[7]、[8]。在实际应用中，收集到的光谱数据包含数百个波长变量。光谱吸收强度低、数据共线性以及多组分间的交叉敏感性导致光谱数据中存在大量冗余和干扰波长变量[9]。因此，有效的光谱特征选择方法作为降维策略至关重要，可以提高浓度预测模型的准确性，同时降低其复杂性[10]。

对于特征选择，假设是一个特征集，其中包含$\alpha$个特征变量，每个变量可以选择也可以不选择，从而产生$2^{\alpha }$个特征子集。随着特征维度的增加，特征子集的数量呈指数级增长，从而增加了特征选择的难度[11]。多目标优化进化算法（MOEAs）由于以下优势已成功并广泛用于特征选择[12]、[13]、[14]：首先，MOEAs具有强大的全局搜索能力，能够探索大型搜索空间；其次，MOEAs可以处理离散和连续的特征选择问题，适应各种数据表示和优化目标；第三，MOEAs可以在没有先验知识的情况下为决策者识别出最优特征子集。近年来，提出了多种MOEAs来解决特征选择问题[15]、[16]、[17]，包括基于遗传算法（GA）的方法[18]、基于粒子群优化（PSO）的方法[19]和基于差分进化（DE）的方法[20]等。MOBGA-AOS[21]将自适应操作符选择机制引入遗传算法中，以获得更好的特征选择结果，其中利用基于分配概率的轮盘赌选择机制来选择适当的交叉操作符进行进化。VLPSO[22]使用变长编码来编码粒子，提出的长度变化机制将搜索空间缩小到更有成效的区域，以增强特征选择效果。MOCDE[23]使用差分进化（DE）[24]对种群进行优化以进行特征选择，通过聚类将种群划分为子种群。然而，这些方法难以有效解决现实世界中的多组分光谱特征选择（MCSFS）问题，因为它们忽略了数据特性和这一特定问题中的潜在合作性。

协同进化方法的思想是通过利用相关但独立的简单优化问题来解决复杂的优化问题[25]、[26]、[27]。在这些方法中，主种群和辅助种群协同进化以逼近帕累托最优解。受此启发，优化用于单组分光谱特征选择的种群可以帮助优化多组分光谱特征选择（MCSFS）的主种群。这一概念使得能够利用两个不同特征选择过程之间的潜在合作，考虑多个组分之间的共享和独特特征，加速主种群的探索和利用过程。然而，基于协同进化方法的MCSFS的挑战在于辅助种群的选择不同。辅助种群在不同进化阶段可能对主种群的优化产生不同的影响，要么促进要么抑制它。深度强化学习可以根据环境状态和反馈信号在各种情况下实现自适应的选择动作[28]。深度Q学习网络（DQN）[29]、[30]作为一种代表性的深度强化学习模型，可以用来自主选择辅助协同进化种群，以高效解决MCSFS问题。

本文提出了一种由深度强化学习辅助的稀疏种群协同进化算法，用于MCSFS，提高了帕累托最优解的逼近能力。关键思想是使用训练有素的DQN根据主种群的当前状态自动推荐最优的辅助协同进化种群，从而使所提方法更具针对性和适应性，以解决MCSFS问题。主要贡献总结如下：

(1) 提出了一种用于MCSFS的种群协同进化框架，其中利用不同特征选择种群之间的弱合作来考虑多个组分之间的共享和私有特征，从而加速主种群的探索和利用。

(2) 设计了DQN来自动选择推荐的辅助协同进化种群，进一步提高所提方法的有效性。它结合了主种群的稀疏特性（定义为状态），并使用改进的超体积（HV）值作为奖励。

(3) 使用两个包含八个MCSFS问题的光谱数据集将所提方法与四种进化算法进行了比较，实验结果表明其优越性。

本文的其余结构组织如下。第2节提供了相关工作的概述。第3节介绍了所提方法。第4节详细介绍了实验研究，第5节给出了结论。

节选内容

光谱特征选择的多目标优化问题

光谱数据通常由10${}^2～10^3$个光谱波长变量组成。然而，只有少数变量对于构建组分浓度预测模型是必要的，大量的冗余或干扰变量会降低准确性并增加模型复杂性。因此，光谱特征选择不仅要识别出用于建立准确预测模型的有用波长变量，还要尽可能选择最少的变量以减少模型的复杂性。

整体框架

鉴于深度强化学习在调整策略方面的出色适应性，本文提出了一种由DQN辅助的稀疏种群协同进化算法，用于解决具有复杂交互作用的MCSFS问题，称为CEA-DQN。图1展示了所提出的CEA-DQN的示意图。以三组分光谱特征选择问题为例进行说明。CEA-DQN的思想是用于多组分特征选择的主种群进行协同进化

实验设置

(1) 实验描述：本文将MCSFS问题视为与特征选择相关的多目标优化问题（SMOPs），重点关注最小化选定的光谱特征数量和最大化预测准确性。此外，它强调使用MOEAs来解决MCSFS问题。为了验证所提出的CEA-DQN解决MCSFS问题的有效性，采用了四种经典的先进MOEAs作为比较。DAEA[31]基于重复分析提出，是一种常用的

结论

MCSFS问题被定义为具有两个冲突目标的多目标优化问题：选定光谱特征的比例和RMSECV。现有的进化算法未能考虑到这一问题中的潜在合作性，这可能会降低性能。因此，本文提出了一种由强化学习辅助的稀疏种群协同进化算法用于MCSFS。DQN被用来自动推荐辅助协同进化种群，以促进共享特征之间的合作交互。

CRediT作者贡献声明

张盼盼：撰写——原始草案、方法论、资金获取、撰写——审阅与编辑。何一兰：软件、验证。荣静：撰写——原始草案、软件、调查。田叶：撰写——审阅与编辑、资金获取。张亚杰：软件、撰写——审阅与编辑。杨尚尚：撰写——审阅与编辑、监督。张星怡：撰写——审阅与编辑、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金（编号：62303013、62276001和U21A20512）和西安科技青年人才支持计划（编号：0959202513118）的支持。