《Pattern Recognition》：Fine-grained Sparse Attention Transformer to Enhance Electronic Nose Detection Performance
编辑推荐：
本文提出 Fine-grained Sparse Attention Transformer（FGSFormer）架构，结合多尺度卷积融合块（MCFB）和分层/稀疏窗口自注意力模块（LGSA/SWSA），有效提取并利用电子鼻传感器的高维时空特征，解决小样本条件下的过拟合问题，显著提升气体分类性能。
Jinyue Zhang|Junqi Liu|Fanjin Meng|Xiangyu Zhang|Qinglun Zhang|Yan Shi
东北电力大学自动化工程学院，吉林，132012，中国
摘要
电子鼻（e-nose）模仿哺乳动物的嗅觉来进行气体检测。气体信息的复杂性受到传感器阵列的交叉敏感性和检测过程的时间特性的影响。要解决这种复杂性，需要同时关注局部动态特征和全局相关性，并提取粗粒化和细粒化的特征以全面分析气体特性。因此，我们提出了细粒度稀疏注意力变换器（FGSFormer），这是一种轻量级机制。我们的方法有效地提取和利用了局部和全局特征，区分了粗粒化和细粒化的属性，从而提高了气体检测性能。首先，我们引入了多尺度卷积融合模块（MCFB）来从不同的响应中提取局部气体特征。此外，我们提出了分层粒度自注意力（LGSA），它通过区分粗粒化和细粒化的特征来强调重要特征，从而缓解了由于样本量有限导致的模型训练不足的问题。进一步地，我们构建了稀疏窗口自注意力（SWSA）来捕捉全局相关性。利用MCFB，网络分为两个特征分支：一个分支使用LGSA进行更精细的特征处理，另一个分支利用SWSA捕捉全局关联，从而整合了局部和全局特征。通过结合多粒度特征，FGSFormer能够捕捉气体信息中的细微变化和总体趋势，从而提高分类性能。最后，我们在三个数据集上评估了FGSFormer的有效性，模型表现出稳定且出色的性能。结果表明，FGSFormer是一种高效且轻量级的气体识别网络，为推进电子鼻系统的工程应用提供了可行的方法。
引言
电子鼻（e-nose）是一种仿生检测系统，它模仿人类的嗅觉来进行气体感应和识别。它由气体传感器阵列、信号处理模块和模式识别单元组成，能够高效地获取和分析气体信息。与手动嗅探相比，电子鼻系统具有快速响应、高重复性和无需复杂样本预处理的特点。由于传感器阵列的交叉敏感性，电子鼻系统可以捕获丰富的气体信息[1]，[2]，并已广泛应用于食品工程[3]、工业检测[4]和医学诊断[5]中。然而，交叉敏感的响应也会引入高维和复杂的气体数据，现有的深度特征提取方法在样本量有限的情况下往往不够充分，这限制了检测性能。因此，开发适合电子鼻数据特性的气体识别方法至关重要。
传统的气体分类通常包括特征提取、特征处理和模式识别[5]，[6]。特征提取通常包括时域[7]和时频域特征[8]，然后通过降维或特征选择来提高区分度。处理后的特征随后使用机器学习方法进行分类，如随机森林[9]、朴素贝叶斯[10]和支持向量机[11]。然而，这些传统方法通常存在复杂的流程、弱的特征表示能力和有限的适应性，导致分类性能不佳。
深度学习方法，特别是卷积神经网络（CNN），以端到端的方式整合了特征提取和分类，减少了人工干预并提高了识别性能[12]，[13]。在卷积神经网络（CNN）架构中，卷积层提取特征，全连接（FC）层执行分类，从而有效地对由于传感器交叉敏感性引起的高维气体数据进行建模[14]，[15]。在电子鼻应用中，Wang等人[16]提出了一个具有知识共享的多任务CNN用于气体识别，Shi等人[17]开发了一个轻量级的残差密集网络用于挥发性气体检测。Wang等人[18]引入了一个双向混合模块来提取时间和传感器级别的特征，用于识别当归的来源。Sun等人[19]应用了通道注意力CNN来追踪大豆的质量，而Li等人[20]在轻量级混合网络中整合了局部峰值特征和全局注意力，以提高效率和准确性。Wang等人[21]结合了卷积和自注意力来增强花生的来源追踪。Zhang等人[22]结合了通道注意力来模拟白葡萄酒的交叉传感器交互。Liu等人[23]引入了沿时间和传感器维度的空间注意力来提高绿豆掺假检测的准确性。Chang等人[24]使用残差轻量级通道-空间注意力网络来识别茶叶的来源。总体而言，这些研究证实了基于CNN的局部特征提取在电子鼻气体识别中的有效性。
然而，由于感受野的限制，卷积神经网络主要捕获局部特征，可能无法充分建模全局依赖性。虽然传统的自注意力机制可以建模长距离依赖性和提取全局特征[25]，[26]，但过度依赖全局注意力计算可能会抑制细粒化的局部细节。为了解决这个问题，提出了混合CNN-Transformer架构[27]，[28]。在电子鼻系统中，由于选择性和灵敏度的变化，气体传感器阵列表现出显著的交叉敏感性。具体来说，每个传感器对相同气体的响应不同，而单个传感器会对多种气体产生响应。随着检测时间的推移，会出现复杂的多变量时间序列模式，导致高维和复杂的电子鼻检测数据。同时，由于电子鼻系统的快速、客观和高度可重复的检测特性，获得的样本量相对有限。因此，应该提出一种轻量级的气体特征计算和分类方法，能够同时处理局部动态和全局时间关系。
总之，本文提出了细粒度稀疏注意力变换器（FGSFormer），这是一种新颖的架构，旨在解决上述限制，并通过两项关键创新实现高性能、稳健的气体识别。首先，多尺度卷积融合模块（MCFB）被设计用于使用多尺度卷积来捕获多样化的局部模式，增强特征丰富度，而不会引入显著的参数开销。其次，构建了分层粒度自注意力（LGSA）和稀疏窗口自注意力（SWSA）模块，以区分特征的粗粒化和细粒度，从而以轻量级的方式建模气体数据中的细微变化和气体变化的总体趋势。通过整合这些组件，我们开发了一个轻量级的FGSFormer框架，在多个小样本数据集上提供了持续的性能提升。所提出方法的有效性通过全面的消融研究、比较性能评估、统计显著性测试和计算复杂性分析得到了严格验证。
部分摘录
电子鼻系统和检测实验
本研究使用了由德国AirSense制造的PEN3电子鼻进行气体信息检测。如图1所示，PEN3电子鼻由传感器阵列、数据处理单元和清洁机制组成，其中传感器阵列是核心组件。该阵列包含十个金属氧化物半导体传感器，它们利用其交叉敏感性特性来捕获样品发出的气体信息。表1显示了主要性能参数
FGSFormer中关键模块的设计概念
在电子鼻检测过程中，传感器阵列表现出交叉敏感性特性，而检测过程具有时间连续性。交叉敏感性在不同传感器和时间点上引起相似的响应模式，需要提取局部特征以捕捉细微的差异。为了解决这个问题，我们设计了MCFB，通过具有不同感受野的并行卷积分支从时间-传感器矩阵中提取多尺度局部模式。
数据分析和可视化
本节分析了气体响应信息的整体趋势和特征差异。考虑到三个数据集显示出相似的总体响应模式，我们选择数据集1作为正文中详细分析的代表性示例。在图7中，雷达图的轴表示气体响应值，不同的角度对应不同的气体传感器。雷达图表明，来自不同来源的气体响应具有统一的整体
结论
本研究提出了FGSFormer，这是一种轻量级的混合网络，它结合了CNN和Transformer架构，用于在样本量有限的情况下进行电子鼻气体识别。通过明确建模交叉敏感的传感器响应和时间依赖性，FGSFormer在保持低计算复杂性的同时实现了准确的分类，从而减轻了小样本电子鼻场景中的过拟合问题。
CRediT作者贡献声明
Jinyue Zhang：写作 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，形式分析，数据管理，概念化。Junqi Liu：可视化，项目管理。Fanjin Meng：调查，数据管理。Xiangyu Zhang：写作 – 审稿与编辑，验证，概念化。Qinglun Zhang：软件。Yan Shi：写作 – 审稿与编辑，方法论，概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
