一种适用于原始LIBS分析的矩阵 tolerant 一维卷积神经网络（CNN）：架构与土壤碳含量基准测试

《Analytica Chimica Acta》：A matrix-tolerant one-dimensional CNN for raw LIBS analysis: Architecture and soil carbon benchmark

　　赫洛伊萨·V·吉列尔梅 | 保里诺·R·维拉斯-博阿斯
圣保罗大学数学与计算机科学研究所，Trabalhador S?o Carlense大街400号，13566-590，圣卡洛斯，SP，巴西

**摘要**
**背景**：激光诱导击穿光谱（LIBS）的定量准确性受到矩阵效应、线重叠和微弱信号的限制，尤其是在土壤等异质样品中。传统的分析流程依赖于复杂的预处理和手工特征提取，这可能会削弱信息丰富但对比度低的区域，并降低不同样品之间的方法迁移性。本文设计了一种一维卷积神经网络（1D-CNN），旨在直接从原始光谱中学习特征，从而最小化人工干预，同时保留完整的光谱结构。研究的核心问题是：尽管存在矩阵变化和线条干扰，基于原始光谱的CNN是否仍能提供外部验证的、物理上一致的碳含量量化结果。

**结果**：使用包含1019个巴西土壤样本的大规模实验数据集进行模型开发，并通过独立的时间分离的外部验证集（n=150）评估模型的泛化能力。所提出的基于原始光谱的CNN在性能上优于传统的机器学习基线和基于最小冗余最大化相关性（MRMR）方法的特征选择CNN配置。在外部数据集上，该模型获得了0.81的R2值、5.18克/千克的RMSE值和4.65的RPIQ值。明确的特征选择导致外部性能系统性下降，表明限制输入空间会丢弃一些虽然微弱但具有信息量的光谱特征。除了整体准确性外，重复性和标准化误差分析显示在碳浓度范围内分析行为稳定，估计的检测限为3.7克/千克，这与实际LIBS的局限性相符。局部可解释模型不可知解释（LIME）方法揭示了与碳发射线和矩阵元素跃迁对齐的光谱区域，支持使用与物理原理一致的信信号而非虚假相关性。总体而言，这些结果表明保留完整的光谱流形使CNN能够同时学习局部/重叠的线条和广泛的背景结构，降低对矩阵效应的敏感性并提高外部方法的迁移性。

**意义**：本研究表明，基于原始LIBS光谱训练的卷积神经网络可以为土壤碳含量量化提供一个强大且分析上有效的框架，结合了外部验证、可控的重复性和光谱学上的合理性解释。通过减少对预处理和特征工程的依赖同时保持泛化能力，所提出的方法简化了复杂样品的LIBS分析流程。该方法具有广泛的适用性，可扩展到其他元素、土壤属性和基于LIBS的分析场景。

**1. 引言**
激光诱导击穿光谱（LIBS）已成为一种强大的地球化学和环境分析工具，能够快速检测多种元素，且样品制备需求较低[1]、[2]。由于其这些能力，LIBS在精准农业和土壤科学中越来越有价值，特别是在高通量测定土壤有机碳方面[3]、[4]。随着土壤碳封存成为应对气候变化的关键策略，对能够进行原位实时监测的分析方法的需求日益增加，推动了基于LIBS的碳量化协议的大量研究[5]、[6]。然而，LIBS定量分析的准确性一直受到严重矩阵效应的挑战[7]。土壤是一种复杂的异质介质，信号强度不仅受元素浓度影响，还受物理性质（粒度、表面粗糙度）和化学组成（干扰氧化物、水分含量）的影响[8]、[9]。这些变化改变了激光-物质相互作用和等离子体热力学，导致显著的光谱波动，使得简单的线性校准变得困难。传统的化学计量方法试图通过密集的预处理（如背景基线去除、标准化和手动线条选择）来减轻这些影响[10]、[11]。尽管这些技术可以提高信噪比，但它们常常引入方法论的主观性，并可能无意中过滤掉对于复杂样品中微量元素（如碳）的定量至关重要的非线性光谱特征[12]、[13]。为了克服线性多元分析的局限，该领域越来越多地采用深度学习（DL）架构[12]、[14]。与偏最小二乘法（PLS）或支持向量机（SVM）不同，深度学习模型（特别是卷积神经网络（CNN）能够实现端到端的表示学习。通过直接与原始光谱数据卷积，CNN可以自主提取层次化特征，有效建模光谱变量之间的非线性依赖关系，减少对严格预处理流程的依赖[15]、[16]、[17]。最近的努力通过整合合成光谱和迁移学习进一步扩展了这些能力，以解决数据稀缺问题[18]、[19]。尽管这些模型具有强大的预测能力，但在其验证和解释性方面仍存在关键的方法论差距。正如最近的一些综述所指出的[12]、[14]，许多LIBS-ML研究依赖于受限的数据集和随机k折交叉验证。这种做法往往掩盖了仪器时间漂移的影响，未能测试模型对独立测量会话的鲁棒性，可能导致过拟合。此外，深度神经网络常被批评为“黑箱”。对于分析化学来说，仅仅预测浓度是不够的；模型的决策过程必须是透明的。虽然最近的研究开始使用可解释性工具（如SHapley加性解释（SHAP）来识别关键发射线[20]，但CNN特征图与光谱跃迁之间的相关性还有待深入探索。本研究通过优先考虑数据集的代表性、严格的时间验证和模型可解释性来解决这些挑战。我们引入了一种专门的1D-CNN架构，用于处理原始LIBS光谱以进行总土壤碳含量量化。该模型使用包含1019个巴西土壤样本的大规模异质数据集开发，并通过时间独立的外部数据集（n=150）进行验证，以确保分析的稳健性。我们通过将原始输入CNN与使用最小冗余最大化相关性（MRMR）方法进行特征选择的模型进行比较，系统评估了端到端学习的有效性[21]。最后，为了确保光谱学的有效性，我们使用局部可解释模型不可知解释（LIME）[22]来绘制网络的敏感性，将学习到的特征与已建立的原子和分子碳发射特征相关联。

**2. 材料与方法**
**2.1. 数据集和土壤样本**
本研究使用了从巴西农业和自然景观中收集的两个不同的实验数据集。第一个数据集由[23]详细描述，包含来自11个农场的1019个土壤样本，这些农场分布在三个主要生物群落：塞拉多（savanna）、大西洋森林和潘帕。为了确保土壤类型的代表性并控制地质变异性，采用了配对采样策略：农业地点选择在每个农场的自然植被保护区附近。采样是在2020年中进行的，即在种植周期开始之前。为了捕捉土壤有机碳（SOC）储量的垂直变异性，从挖掘的沟槽中在八个深度区间（0–5、5–10、10–20、20–30、30–40、40–60、60–80和80–100厘米）采集样本。这种分层方法获得了涵盖广泛碳浓度和质地类别的数据集，这对于训练稳健的深度学习模型至关重要[10]。在分析之前，所有样本都经过了空气干燥、均质处理并筛分至<2毫米，以分离细土部分。对于LIBS测量，每个样本大约有5.5克被压制成颗粒，压力为100兆帕。这种高压颗粒化对于最小化由表面粗糙度和颗粒大小变化引起的物理矩阵效应至关重要，从而提高了脉冲间的信号稳定性[8]、[24]。总碳（TC）的参考值是通过使用PerkinElmer 2400 Series II CHNS分析仪进行干燃烧获得的。每个样本进行了两次分析重复实验（10毫克），取平均值。虽然这种方法测量的是总碳而非仅有机碳，但由于这些生物群落中的热带和亚热带土壤高度风化且呈酸性，无机碳酸盐含量可以忽略不计，因此总碳测量被认为是有机碳的可靠替代指标[6]、[25]。主要数据集中的碳浓度范围为2.3至87.8克/千克（平均值=14.94克/千克；标准差=10.25克/千克）。

为了严格评估模型的泛化能力和对仪器漂移的稳定性，一年后从相同地区收集了另一个独立的外部验证数据集（n=150），使用相同的协议。这个时间间隔对于评估实际监测场景中的分析稳健性至关重要[1]。这个外部数据集中的碳浓度范围为3.2至57.45克/千克（平均值=21.87克/千克；标准差=11.89克/千克）。

**2.2. LIBS光谱采集**
LIBS测量使用Q开关Nd:YAG激光系统（Ultra，Quantel）进行，工作波长为1064纳米，重复率为20赫兹。激光束通过双凸透镜（f=150毫米）聚焦到样本表面。基于高斯光束传播，透镜处的光束直径为3毫米，估计的光斑直径（1/e2）为73微米。传递到样本的脉冲能量保持在50毫焦耳，估计的注量为1.2×10^3焦耳/平方厘米。等离子体发射通过光纤束收集，并由多通道光谱仪（Ocean Optics）解析，覆盖189–966纳米的光谱范围，光学分辨率为约0.1纳米。信号采集与激光脉冲的延迟时间同步为1.5微秒，探测器积分时间（门宽）固定为1毫秒。所有分析都在常压下的室温（约25摄氏度）空气中进行。

为了减轻样本异质性和每次测量之间的波动影响，采用了特定的采样协议[26]。对于每个土壤颗粒，从表面分布的30个不同位置采集光谱。在每个位置，先施加两个预消融脉冲以去除表面污染（清洁脉冲），然后收集五个分析激光脉冲的信号。在测量之间手动移动样本以确保新鲜表面区域的消融。随后将30个累积的光谱平均，为每个土壤样本生成一个代表性的LIBS光谱，从而提高定量分析的信噪比。

**2.3. 数据划分和验证策略**
在模型开发之前，实施了严格的数据划分策略，以确保校准集和验证集的独立性。为了防止样本内相关性导致的数据泄漏，每个土壤颗粒（30个累积位置）的多个LIBS光谱被平均，得到每个样本的单一代表性光谱。这种样本级别的平均作为基本分析单元，确保在模型评估期间不会人为夸大每次测量之间的变异性。主要数据集（N=1,019）被划分为固定的训练集（n=713，约70%）和内部测试集（n=306，约30%），使用分层随机抽样保持碳浓度的分布一致性。这种划分在原始光谱和基于特征选择的配置（第2.4节）中保持不变，以便直接比较。

对于深度学习模型的超参数优化，训练集进一步划分为学习子集（80%）和内部验证子集（20%）。这个内部验证集专门用于监控损失曲线并触发早期停止机制以减少过拟合[12]。所有分割操作都使用固定的随机种子（42）进行，以确保可重复性。优化后，最终模型使用完整的训练集（n=713）重新训练。然后在不同水平上评估预测性能：i）内部测试集（n=306），在与训练集相同的条件下评估准确性；ii）外部验证集（n=150），挑战模型对时间仪器漂移（校准后一年收集）和长期环境变化的泛化能力，这是原位LIBS应用的关键因素[1]。

**2.4. 实验配置**
为了单独探讨特征工程对预测性能的具体影响，实验框架设计为比较两种不同的光谱输入方式，同时保持所有其他模型参数和数据划分不变。在原始光谱配置中，将完整的高分辨率LIBS光谱直接提供给深度学习模型。这种端到端的方法利用CNN从原始信号中学习层次化表示的能力，从而绕过了与手动线条选择或领域特定特征工程相关的主观性[12]、[15]。在基于特征选择的配置中，在训练之前使用MRMR方法进行了降维处理（见第2.5节）。这种策略代表了传统的化学计量工作流程，其中输入空间被修剪以强调信息丰富的光谱变量，同时抑制噪声和冗余特征。重要的是，这两种配置都使用相同的训练、验证和外部测试集进行评估。这种严格的标准化确保了任何观察到的泛化误差差异——特别是关于对时间漂移的稳定性——完全归因于光谱表示和学习机制。### 特征选择

在特征选择的输入策略中，采用了MRMR方法[21]进行降维处理。在LIBS数据集中，由于等离子体发射的物理特性，光谱变量往往高度相关，同一个元素或矩阵组分（例如Fe、Al、Ti）的多个线会共同变化。传统的基于相关性的选择方法无法解决这个问题，通常会返回一组冗余的特征。MRMR方法通过结合一个标准对光谱变量进行排序来解决这一挑战：最大化与目标变量（土壤碳浓度）的互信息，同时最小化选定特征之间的互信息。这种优化产生了一个紧凑、正交的特征子集，保留了高预测相关性，同时抑制了高维光谱数据中的冗余性[27]。

与需要计算密集型迭代模型训练的包装器技术相比，MRMR作为一种高效的过滤方法，特别适合于密集LIBS光谱的探索性分析。至关重要的是，为了防止数据泄漏，特征选择过程仅在训练数据集上进行计算。从训练数据中识别出的特定波长索引随后被应用于过滤验证集和外部测试集，确保模型鲁棒性的评估保持无偏且方法上一致。

### 2.6 对比用的基线模型

为了基准测试所提出的CNN架构的性能，评估了三种不同的机器学习回归模型：Tweedie回归、支持向量回归（SVR）和Light梯度提升机（LightGBM）。这些模型被选为代表不同类别的学习算法——基于集成树的、基于核的以及广义线性模型——为评估CNN在没有手动特征工程的情况下建模复杂、非线性光谱依赖性提供了全面的基线。

Tweedie回归作为广义线性模型（GLMs）家族中的一个稳健的统计基线。它假设Tweedie分布来建模预测变量和响应变量之间的关系，Tweedie分布是一类包括高斯、泊松和Gamma分布在内的指数分散模型[28]。这种方法特别适合于建模可能具有偏度的非负连续数据，如土壤中的元素浓度，为标准的最小二乘（OLS）回归提供了一个灵活的替代方案[12]。

支持向量回归（SVR）被实现为一个代表性的基于核的方法。SVR通过使用核函数（在这种情况下是径向基函数）将输入向量映射到高维特征空间，以构建一个在最指定边界（?-insensitive tube）内最小化预测误差的最优超平面[29]。由于其对抗过拟合的鲁棒性以及在建模LIBS数据中的非线性矩阵效应方面的能力，SVR在化学计量学中被广泛使用[30]。

LightGBM是一个使用基于树的学习算法的梯度提升框架。它采用逐叶增长策略并带有深度限制，与逐层增长算法相比，显著提高了在大数据集上的训练速度和效率[31]。它能够建模复杂、非线性关系并处理高维特征空间，使其成为光谱回归的强大基线，特别是在特征交互较为常见的土壤分析中[20]。

所有基线模型都在与CNN相同的严格实验条件下进行训练和评估，使用相同的数据划分来处理原始光谱和特征选择配置（见第2.4节）。

### 2.7 CNN架构

卷积神经网络（CNNs）由于能够直接从原始输入自动学习层次化表示，已被广泛用于建模高维光谱数据。受视觉皮层组织的启发[32]，CNN结合了卷积层、归一化层和非线性变换层，以捕捉结构化信号中的局部模式和长距离依赖性[33]。在LIBS分析的范围内，一维（1D）CNN特别适合处理光谱数据，因为它们利用了与发射线、连续背景和矩阵相关效应相关的波长轴上的相关性[15]、[34]、[35]。

为了评估光谱表示对模型性能的影响，实现了两种专门的一维CNN架构：一种针对完整的、未经处理的LIBS光谱设计（CNN1），另一种针对通过MRMR算法获得的特征选择输入设计（CNN2）。这些架构被设计为互补配置，针对不同的输入维度和信息密度，而不是作为竞争性设计。

尽管输入表示存在差异，两种CNN架构都遵循共同的设计原则以确保稳健的特征提取。卷积层沿光谱维度应用可训练的滤波器，以捕获局部发射特征以及由重叠线和矩阵效应产生的更广泛的上下文模式。为了标准化强度分布并加速收敛，在每次卷积后加入了批量归一化层，这种技术在LIBS应用中已被证明可以稳定训练[15]。非线性激活函数（ReLU或LeakyReLU）被用来建模光谱变量和土壤碳含量之间的复杂关系，同时系统地应用了正则化策略，包括dropout和L2权重惩罚，以减轻由于LIBS光谱的高维度而可能导致的过拟合问题。

CNN1（图1a）旨在处理完整的、未经处理的LIBS光谱，利用网络的深度特征学习能力。它包括五个卷积块，每个块的滤波器数量逐渐增加。每个块包含一个卷积层，随后是批量归一化和最大池化，从而在保持显著光谱信息的同时逐步降低维度。在卷积阶段之后采用了全局平均池化（GAP）来压缩特征图并减少可训练参数的数量。得到的表示通过两个全连接层进行处理，这些层使用ReLU激活函数，并在整个过程中应用了dropout和L2正则化以增强泛化能力。

下载：下载高分辨率图像（457KB）
下载：下载全尺寸图像
图1. 本研究中开发的两种一维CNN架构的示意图：(a) 用于原始LIBS光谱的CNN1；(b) 用于特征选择输入的CNN2。

CNN2（图1b）是为通过特征选择减少后的光谱开发的，因此采用了更紧凑的结构。省略了池化层以保持选定变量的相对重要性，主要通过步进卷积实现降维。使用LeakyReLU激活函数来维持较低维度输入空间中的梯度流动。与CNN1一样，GAP和全连接层被用来将提取的特征映射到土壤碳预测，正则化参数进行了调整以反映模型能力的降低。

两种CNN都使用一致的优化框架进行训练，以确保方法上的可比性。训练采用了Adam优化器，这是一种以在光谱分析中高效收敛而闻名的自适应学习率算法[36]，损失函数为平均绝对误差（MAE）。模型训练了最多2000个周期，批量大小为128，并基于验证性能进行了提前停止以防止过拟合。超参数针对每种架构独立进行了优化，具体细节见第2.8节。

架构设计和训练策略借鉴了之前关于基于CNN的光谱回归的研究，并根据LIBS数据的具体特征进行了调整，包括高维度、相关的发射特征和 variable 的信噪比[15]、[34]、[35]。通过在对原始光谱和特征选择光谱进行相同实验和验证条件下联合评估CNN，本研究提供了关于深度学习架构如何响应LIBS基础土壤碳分析中不同预处理水平的补充视角。

### 2.8 超参数优化

超参数优化使用了Optuna框架，该框架采用树结构Parzen估计器（TPE）来高效搜索复杂的配置空间[37]。对于每种模型架构，超参数都经过调整，以最小化内部验证子集（训练数据的20%）上的均方根误差（RMSE），严格遵循第2.3节中详细的数据划分策略。为了确保统计上的稳健性，每种模型配置执行了50次独立的优化试验。

根据算法特性定义了特定于模型的超参数空间。对于CNN架构，优化针对网络容量和正则化相关的参数，包括卷积滤波器的数量、核大小、步长值、学习率和正则化强度。对于基线模型，优化关注控制模型复杂性和泛化的参数，例如LightGBM的树深度和学习率；SVM的核配置和正则化；以及Tweedie回归的功率参数（p）和正则化强度。

优化试验完成后，选择了在内部验证集上产生最低RMSE的超参数集。然后每种模型使用相应的最优配置在完整的训练数据集（Ntrain=713）上重新训练，最后在内部测试集和独立的外部验证集上进行最终评估。

所有基线模型和CNN架构的超参数搜索空间的完整定义以及最终选择的值都在补充信息（表格S1–S4）中报告。

### 2.9 模型评估指标

为了全面评估所提出的深度学习模型相对于基线的分析性能，基于平均样本级预测（如第2.3节所定义）计算了一套统计指标。

全球准确性的主要度量是RMSE，它惩罚预测（y?i）和参考（yi）碳浓度之间的较大偏差：
(1) RMSE = 1/n ∑i=1n (yi ? y?i)^2

作为补充，计算了MAE，以提供平均预测误差的线性表示，与用于CNN的优化损失函数直接对齐：
(2) MAE = 1/n ∑i=1n |yi ? y?i|

为了便于比较不同浓度范围的数据集（例如，训练集与外部验证集），通过将RMSE标准化到参考值（yˉ）的平均值来计算归一化RMSE（NRMSE）：
(3) NRMSE (%) = RMSE / yˉ × 100

决定系数（R2）用于量化模型解释的土壤碳浓度方差的比例。鉴于土壤样本的广泛动态范围和自然异构性，还计算了性能与四分位范围之比（RPIQ）。与传统的残差预测偏差（RPD）不同，RPIQ对非正态分布具有鲁棒性，更适合土壤分析[38]：
(4) RPIQ = (Q3 ? Q1) / RMSE，其中Q3和Q1分别代表参考数据的第三和第一四分位数。

对于最终优化的CNN模型，使用从同一样本的重复测量中得出的预测的相对标准差（RSD）来评估分析精度：
(5) RSD (%) = (σy? ? y?ˉ) / y?ˉ × 100，
其中y?ˉ表示给定土壤样本的平均预测碳浓度，σy?表示相应的标准差。

RSD仅使用外部验证数据集在样本级别估计。对于每个土壤样本，获取的所有LIBS光谱被随机分成包含大约20个光谱的独立子集。每个子集内的光谱被平均，生成每个样本的多个代表性光谱，这些光谱分别由最终CNN模型处理以获得重复预测。

因此，得到的预测分布用于计算RSD，提供了反映LIBS测量内在变异性的模型重复性度量，同时独立于校准误差。

检测限（LOD）使用了一种为多变量校准改编的伪单变量方法进行估计，如[39]和[40]所建议的：
(6) LOD = 3σres / S，其中σres是低碳含量样本的预测残差的标准差（近似于空白），S是预测值和参考值之间线性回归的斜率。这个指标提供了方法级的灵敏度估计，考虑了仪器噪声和模型引起的方差。

### 2.10 可解释性分析

尽管深度学习模型具有优越的预测性能，但它们的“黑盒”性质在分析化学中的采用存在显著障碍，因为在分析化学中验证预测的物理基础至关重要[12]。为了克服这种透明度差距，我们采用了LIME框架[22]。虽然最近的研究使用SHAP来识别土壤碳的关键发射线[20]，但LIME通过使用稀疏线性模型近似CNN的局部决策边界提供了独特优势，直接突出驱动特定预测的光谱段。

LIME通过扰动输入实例并观察模型输出的变化来运行。对于高分辨率的LIBS光谱，将每个波长通道视为独立特征在计算上是不可行的，并且在物理上是多余的。因此，我们通过将光谱分割成连续的“超级像素”（光谱窗口）来适应LIME算法于1D光谱数据。扰动过程涉及选择性地屏蔽（归零）输入向量中的这些光谱段。然后在这些扰动变化上训练了一个线性替代模型（岭回归），并按其接近原始光谱的程度进行加权。这个替代模型的系数作为“特征重要性”得分，指示每个光谱区域对预测碳浓度的贡献。

为了对CNN的学习机制有一个整体的理解，我们超越了单个样本的解释，进行了全局分析。LIME独立应用于测试集中每个样本的平均LIBS光谱。这些局部重要性特征是通过计算整个数据集中每个波长通道的平均绝对重要性来聚合的。这种聚合策略有两个关键作用：1. 噪声减少：它减轻了随机相关性或样本特定矩阵干扰的影响，这些干扰在单个实例中可能显得显著，但并不是可靠的预测因子。2. 化学计量学验证：它生成了一个全局“显著性图”，可以直接与NIST原子数据库进行比较。这使我们能够验证卷积神经网络（CNN）是否依赖于物理上有意义的碳特征（例如，CI 193.09纳米、CI 247.86纳米或CN分子带在388纳米处），或者它是否学习了与矩阵元素（例如Fe、Ca、K、Mg）的虚假相关性 [20]。所有可解释性分析都是使用在原始光谱配置上训练的最终优化CNN模型进行的，因为这种架构可以在没有人为干预的情况下进行特征提取。

2.11. 实施细节和可重复性所有的计算程序，包括数据预处理、模型训练和评估，都是在Python 3.10编程环境中实现的。深度学习架构（CNN1和CNN2）是使用TensorFlow框架（v2.17.0）和高级Keras API（v3.5.0）开发的 [41]。基线机器学习模型是使用Scikit-learn库（v1.5.1）[42]构建的支持向量机和Tweedie回归模型，以及LightGBM库（v4.4.0）[31]构建的梯度提升模型。超参数优化是使用Optuna框架（v3.6.1）[37]自动完成的，确保了对配置空间的高效和可重复性探索。可解释性分析是使用LIME包（v0.2.0.1）[22]执行的。为了保证结果的可重复性，所有使用的库中的随机数生成器都使用固定的种子（42）进行了初始化，用于数据分组、权重初始化和随机优化过程。

3. 结果
3.1. 情景1：在原始光谱上的性能在这种配置下，模型直接在未经降维处理的完整分辨率LIBS光谱上进行训练。这种场景测试了算法的端到端学习能力，特别是它们从以连续背景和噪声为主的高维输入空间中提取相关化学信息的能力。表1总结了性能指标。传统的机器学习模型（SVM和Tweedie）表现出对特定实验条件的过拟合模式。尽管它们在内部测试集上取得了高准确率（R2≈0.88），但在外部验证集上的表现却下降了，导致R2值为负。这种急剧下降表明它们无法应对时间仪器漂移——即测量会话之间（内部与外部测试集）发生的等离子体温度、光学对齐和探测器响应的微妙变化 [1]。这些模型基本上学会了将特定的像素强度与碳含量相关联，但当外部数据集的光谱基线发生变化时，这种关系就失效了。

表1. 在原始LIBS光谱上训练的模型的预测性能。SVM和Tweedie在外部数据集上的显著性能下降（负R2）突显了时间漂移的挑战。
模型 内部测试（n=306） 外部验证（n=150）
空单元 R2 RMSE MAE ERP R2 RMSE MAE ERP
Tweedie 0.87 3.36 2.47 4.64 -5.03 29.20 26.8 0.62
SVM 0.88 3.28 2.39 4.80 -3.91 26.37 24.5 0.68
LightGBM 0.76 4.66 3.24 3.54 0.63 7.15 5.33 3.12
CNN1 0.88 3.31 2.10 5.50 0.81 5.18 3.78 4.65
RMSE和MAE单位：g kg?1。
LightGBM表现出了中等程度的鲁棒性，在外部数据集上保持了正的R2（0.63）。然而，其较低的内部性能（R2=0.76）表明决策树集成在没有任何显式特征工程的情况下难以从密集且噪声较大的原始光谱中有效提取碳信号。相比之下，1D-CNN（CNN1）展示了更好的泛化能力。它达到了最佳基线的内部准确率（R2=0.88），但重要的是，在时间独立的外部数据集上仍然保持了高性能（R2=0.81，RPIQ=4.65）。这种鲁棒性表明CNN不仅仅是 memorized 了像素位置。相反，卷积滤波器可能学会了识别对小光谱位移和由矩阵效应引起的宽化不敏感的局部光谱形状 [12]，[15]。图2说明了这种行为差异。虽然LightGBM的预测（左）在较高浓度时显示出增加的离散性（异方差性），但CNN1的预测（右）在整个动态范围内始终紧密围绕1:1线。CNN提取上下文特征的能力——例如碳线与背景连续体的比率——使它能够自我校正基线模型中的信号波动。

3.2. 情景2：在特征选择光谱上的性能在第二个实验配置中，我们评估了减少输入数据的维度是否可以减轻基线模型中观察到的过拟合现象。采用了MRMR方法来选择713个光谱变量（约原始分辨率的6%），这些变量在与土壤碳含量的相关性最大化同时最小化了多重共线性（图3）。表2总结了在这种减少的特征集上训练的模型的性能指标。

3.3. 跨场景比较：原始光谱与特征选择光谱
本节对比了两种深度学习架构的预测能力：一种是在完整高分辨率光谱（12,288个变量）上训练的CNN1，另一种是在MRMR方法选定的减少的特征集（713个变量）上训练的CNN2。两种CNN配置在内部测试集上展示了可比的预测准确性，获得了相同的R2值（0.88），以及相近的RMSE和MAE值（表3）。这一结果表明，在受控条件下，两种架构都能有效地拟合训练分布。然而，在外部验证集上，性能差距显著扩大。在原始光谱上训练的CNN1获得了0.81的外部R2，而基于特征选择的CNN2仅获得了0.72的外部R2。这表明，MRMR方法去除的变量（如连续背景和来自Si、Al、Fe等矩阵元素的线条）对CNN的性能影响不大。然而，对于深度神经网络来说，这些特征提供了建模等离子体条件所需的上下文。通过分析背景连续体和矩阵线条以及碳信号，原始输入CNN（CNN1）可以隐式地校正由矩阵效应引起的等离子体温度和电子密度的变化。而特征选择方法（CNN2）则迫使模型仅依赖峰值强度，使其更容易受到仪器漂移的影响，从而降低了其鲁棒性。

3.3.1. 精确度和检测限为了评估更优模型（CNN1）的分析可靠性，我们评估了其重复性和灵敏度。表4展示了在整个浓度范围内的精确度概况。如表4所示，CNN1在所有评估的浓度范围内保持了稳定的重复性，RSD值均低于12%。在低浓度范围（0—15 g kg?1，n=46）内，模型的RSD为9.46%，MAE和NRMSE值也较低，表明其在浓度谱的低端提供了可靠的预测。在中间范围（15—30 g kg?1，n=71）内，RSD适度增加到11.37%，反映了较高的内在变异性，但仍处于可接受的分析重复性范围内。该网络将原子碳（CI）排放识别为主要正预测因子，同时利用基质线（Si、Fe、Mg和Ca）进行背景校正。对于每个峰值，提供了参考的NIST波长以及相应的元素和电离状态，括号内给出了LIME衍生的实验波长。除了碳线外，钾（KI 766.47 nm）和镁（Mg II 280.28 nm）的跃迁也对模型预测有显著影响。这些元素在LIBS文献中通常被认为是土壤有机质和矿物学背景的间接指标，反映了它们与粘土含量、阳离子交换能力和土壤肥力的关联[3]，[43]。它们在LIME分析中的相关性表明，CNN1不仅整合了直接的碳排放信息，还整合了与基质相关的信息，而不仅仅依赖于孤立的光谱峰值。一些高强度的基质相关线，包括Fe II（275.55 nm和438.36 nm）和Ca II（422.67 nm），会对预测的碳含量产生负面影响。这种行为与LIBS中已知的基质效应一致，即来自丰富矿物元素的强发射可能会干扰或掩盖较弱的碳信号[2]，[43]。将这些线识别为负权重特征表明，CNN1已经学会了削弱与潜在干扰相关的光谱区域的影响，而不是错误地放大它们对碳预测的贡献。具有中等LIME值的特征，如Cr I 250.42 nm，对模型输出的贡献较为温和。虽然这些跃迁与土壤碳没有直接关联，但它们的存在反映了LIBS光谱的多变量性质，其中元素发射、等离子体行为和基质成分之间的复杂相互依赖共同作用于预测过程。总体而言，可解释性分析表明，CNN1基于光谱和化学上有意义的特征来做出预测，包括直接的碳排放、相关的土壤成分和基质相关效应。重要的是，没有证据表明模型依赖于孤立且物理上不可信的光谱区域。这种行为与CNN1在跨场景、RSD和LOD分析中表现出的改进的泛化能力、重复性和检测能力相一致，这进一步增强了人们对模型预测性能来源于系统和物理基础模式的信心。

讨论部分指出，当CNN直接在原始实验数据上训练时，可以从LIBS光谱中实现对土壤碳的稳健可靠的量化。值得注意的是，在所有评估的方法中，基于完整未处理光谱的CNN配置（CNN1）在时间独立的外部验证中表现出了优越的泛化能力，优于传统的机器学习基线和特征选择的CNN配置。这种改进的泛化能力最好通过LIBS土壤光谱的内在特性来理解。土壤是一个高度异质的基质，其中与碳相关的发射特征通常较弱，分布在不同的光谱区域，并受到基质组成、颗粒大小和重叠元素贡献的强烈影响[10]。在这种条件下，预测信息很少局限于少数孤立波长；相反，它是从发射线、背景连续体和基质效应之间的复杂相互作用中产生的[20]。通过保留完整的光谱信息，CNN1能够学习到层次化的表示，整合了局部发射峰和更广泛的上下文结构。这些发现与[15]的报告一致，他们强调了卷积架构利用局部光谱组织的潜力，尽管他们的分析受到较小数据集和缺乏独立外部验证的限制。更广泛地说，[14]的综述强调，当有足够的数据多样性时，深度学习模型往往优于传统的化学计量方法，因为它们能够捕捉难以明确编码的非线性和分布式关系。相比之下，跨场景比较表明，通过基于MMMR的特征选择进行显式降维可能会在应用于LIBS土壤光谱时限制泛化能力。虽然特征选择有效地降低了输入维度和计算复杂性，但它可能会无意中丢弃弱但具有信息性的光谱贡献。在像土壤这样的复杂基质的光谱中，这些弱信号集合起来可以在稳健预测中发挥关键作用。类似的权衡在依赖手动或算法特征选择的研究中也有报道[44]，其中简化的表示以牺牲信息损失为代价。因此，这里的结果表明，在外部验证下，这种限制变得尤为明显，因为简化的特征空间可能无法捕捉训练领域之外的光谱变异性。

补充全球准确性指标，模型在不同土壤碳浓度范围内的分析行为进一步揭示了其稳健性。对于CNN1，通过RSD评估的重复性在所有评估范围内保持稳定，表明在重复的LIBS测量下模型行为一致。重要的是，即使碳浓度增加，RSD值也保持在可接受的分析范围内。还分析了归一化误差指标，以便在不同浓度范围内公平比较预测行为。在这种情况下使用NRMSE特别相关，因为它可以缓解高浓度下绝对误差增加的尺度效应。如果没有归一化，绝对误差指标可能会由于响应变量的较大数值范围而误导性地表明性能下降。在代表大量评估样本的低碳范围内，CNN1实现了低MAE和NRMSE值，并且RSD稳定，表明在浓度谱的低端附近具有可靠的性能。在中等浓度范围内，绝对误差和归一化误差都增加了，反映了高有机质含量土壤的更大内在变异性，而重复性仍然受到控制。在高浓度范围内，绝对误差进一步增加；然而，NRMSE和RSD都降低了，表明显见的误差增加主要是由尺度效应驱动的，而不是模型稳定性的丧失。这种模式表明，即使在高浓度稀疏区域，CNN1也能保持相对准确性和重复性。估计CNN1的LOD提供了对模型性能的额外分析视角，同时也突出了多变量和基于机器学习的校准固有的概念挑战。使用适用于回归模型的伪单变量公式，根据外部验证数据集低碳范围内的残差变异性和敏感性估计了LOD。重要的是要强调，这个值不应被解释为仪器LOD；相反，它代表了一个整合了仪器噪声、基质效应、光谱复杂性和模型行为的 méthode-level 优度指标。在基于LIBS的土壤碳分析的背景下，通常报告的LOD值大约是每千克几克，特别是在不进行化学预处理或样品富集的研究中。从这个角度来看，这里获得的估计LOD在分析上是有意义的，但并不是特别低。它不应被视为主要的性能主张，而应被视为CNN1在其检测阈值附近处于稳定分析范围的额外证据。估计的LOD与在低碳范围内观察到的重复性和归一化误差行为之间的一致性进一步支持了这一解释。关键的是，这些结果强调了为多变量和基于神经网络的分析方法定义LOD的更广泛的方法学挑战，目前还没有普遍接受的框架。

此外，使用LIME进行可解释性分析进一步增加了对所提出方法科学有效性的信心。识别的最具影响力的光谱特征主要对应于已确立的LIBS碳发射线，特别是在247 nm区域，以及钾、镁、钙和铁等元素。这些元素已知与土壤有机质和矿物组成有直接或间接的关联，并且经常用于传统的基于LIBS的土壤研究[20]，[26]。来自碳发射线的强正面贡献证实了CNN1依赖于化学上有意义的信息。此外，与基质相关元素的影响反映了土壤光谱中的复杂相互作用，表明模型整合了超出孤立诊断峰的上下文信息。这种模型解释与光谱知识之间的吻合增强了人们对模型鲁棒性和物理合理性的信心。然而，这些令人鼓舞的结果必须结合几个限制来看待。所有测量都是在实验室条件下使用单一LIBS系统进行的，样品被制备成压制的颗粒。尽管数据集庞大且异质，但它仅包含巴西土壤，模型对其他土壤类型、仪器或采集协议的通用性尚未进行评估。此外，CNN训练和超参数优化在计算上要求很高，这可能限制了资源有限的用户的可用性。依赖于大型和多样化的数据集也突显了设计良好的采样策略以实现类似泛化水平的重要性。尽管如此，这些发现具有重要的实际意义。通过证明CNN可以直接在原始LIBS光谱上有效运行而无需显式预处理或特征选择，本研究支持了更简单和更透明的分析工作流程。使用独立的外部验证进一步强调了LIBS-机器学习研究中严格评估协议的重要性。未来的工作可以探索迁移学习和领域适应策略，以减少数据需求和计算成本，以及为多变量和基于深度学习的分析方法定义标准化的优度指标。扩展更高浓度范围和不同土壤类型的数据集将进一步加强所提出方法的适用性。

结论部分表明，直接在原始实验光谱上训练的卷积神经网络为使用LIBS进行土壤碳量化提供了一个稳健且具有分析意义的框架。通过采用端到端的学习策略，并针对时间独立的外部数据集验证性能，所提出的方法有效地缓解了通常与依赖预处理的 workflows 和仅依赖于内部验证的机器学习研究相关的限制。研究结果确定，保留对完整光谱信息的访问权限使CNN能够捕捉局部发射特征和更广泛的基质相关模式，从而相比传统的机器学习基线和特征选择的配置实现了更好的泛化能力。除了预测准确性之外，对重复性、归一化误差行为和检测限的全面评估表明，在广泛的土壤碳浓度范围内具有稳定的分析性能，证实了该方法在实际应用中的适用性。此外，可解释性分析确认了该方法的科学有效性。模型的预测是由与土壤组成和与有机质相关的元素相关的光谱特征驱动的。数据驱动的特征提取与物理化学原理之间的这种一致性增强了人们对所提出方法鲁棒性和透明度的信心。尽管这项研究依赖于单一实验设置和特定的巴西土壤数据集，但结果为使用深度学习简化LIBS分析工作流程提供了强有力的概念证明，而不牺牲可靠性。未来的研究应该集中在不同仪器、不同土壤类型和额外目标属性上验证这种方法，同时朝着为多变量和基于神经网络的光谱方法定义标准化的分析优度指标方向努力。最终，这里的方法论和发现为LIBS在精准农业和环境监测中的更广泛应用铺平了道路，有助于可持续实践和气候变化缓解策略的发展。

红专作者贡献声明：
Heloisa V. Guilherme：撰写——原始草稿、可视化、验证、软件、方法论、调查、正式分析、数据管理、概念化。
Paulino R. Villas-Boas：撰写——审阅与编辑、可视化、验证、监督、资源管理、项目管理、资金获取、正式分析。