利用傅里叶变换近红外光谱（FT-NIR光谱）、机器学习算法和变量选择技术确定Vinh Linh黑胡椒的地理来源

《JOURNAL OF FOOD PROCESSING AND PRESERVATION》：Determination of the Geographical Origin of Vinh Linh Black Pepper Using a Combination of FT-NIR Spectroscopy, Machine Learning Algorithms, and Variable Selection Techniques

　　摘要

确定黑胡椒的地理来源对于打击香料行业的欺诈行为至关重要。本研究采用近红外（NIR）光谱技术与机器学习相结合的方法，对来自越南三个不同地区的黑胡椒样本进行分类。通过使用新颖的预处理–变量选择–模型调优–评估（PVME）框架，在训练集上实现了92%的准确率，在测试集上实现了93%的准确率，精确度、召回率和特异性分别超过了92%和98%。该框架系统地整合了先进的预处理技术、变量选择算法以及优化的机器学习模型（LDA、KNN、RF、XGB和SVM）。这种非破坏性、快速且成本效益高的方法为原产地验证提供了标准化协议，并具有应用于其他农产品的潜力。除了黑胡椒之外，这种方法还可以扩展到其他农产品，用于质量预测、掺假检测以及食品加工环境中的实时、非侵入式监测等任务。所提出的框架支持现代农业食品供应链中可扩展的、以技术驱动的质量保证策略。

1. 引言

黑胡椒（Piper nigrum L.）是全球消费最广泛的香料之一，其独特的辛辣味和长期的烹饪相关性使其具有全球吸引力[1]。其独特的风味和香气使其经常被用作餐桌调味品，从而维持了强劲的消费需求[2]。除了烹饪吸引力之外，黑胡椒还具有一系列药理特性，包括抗生素、抗氧化、抗癌、保肝、抗哮喘、抗肥胖、抗高血压、抗炎、镇痛、免疫调节和抗菌作用[3, 4]。黑胡椒主要在热带地区种植，其质量和市场价值受到地理来源的强烈影响，这会影响其化学成分和感官属性。然而，来自不同地区的黑胡椒在颜色和大小等物理特性上往往相似，难以通过视觉或感官检查区分。这种相似性为欺诈性标签提供了机会，即用低质量的胡椒冒充高级地区品种以获取更高的利润。近年来，关于商品来源的欺诈性声明的普遍存在对国际贸易产生了显著影响，扭曲了市场动态并削弱了消费者的信任。这一现象对合法生产商尤其有害[5]。这些挑战凸显了需要基于科学的稳健方法来证实黑胡椒的地理来源的迫切性。传统的确定黑胡椒来源的方法通常涉及基于专家的物理和感官特征评估，包括颜色、香气和味道。尽管这些特征可以指示地理差异，但其评估本质上是主观的，并且容易受到评估者偏见的影响。此外，感官属性可能受到收获后处理、储存条件和加工技术等各种外部因素的影响，从而掩盖了与来源相关的真实信号。因此，传统的识别技术往往可靠性不一致且可扩展性有限，无法满足现代质量保证的需求[6]。近红外（NIR）光谱技术作为一种快速、非侵入性和成本效益高的食品认证方法应运而生，其应用范围涵盖了农业、制药和食品质量控制[7–9]。通过测量800–2500纳米范围内的光吸收，NIR能够捕捉反映样品组成和结构特征的复杂光谱指纹。大量研究表明，NIR光谱技术在多种食品商品的质量分类和地理来源认证方面是有效的。例如，基于NIR的方法已被用于鉴定绿咖啡豆的品种及其地理来源[10]，区分土耳其Giresun Tombul榛子的来源[11]，以及评估完整甜椒的真实性及质量[12]。在质量控制领域，NIR光谱技术还用于量化茶叶中的关键组成参数，包括多酚、儿茶素、咖啡因、游离氨基酸和水分[13]。其他应用还包括监测芦笋（Asparagus officinalis L.）在储存过程中的质量变化，以及评估初榨橄榄油中的极性酚类化合物[14, 15]。总体而言，这些研究证实了NIR光谱技术作为食品认证和质量评估的非破坏性、快速且成本效益高的分析工具。尽管取得了这些进展，现有的基于NIR的来源认证研究仍存在一些局限性。许多研究依赖于单一或有限的预处理技术，应用固定的光谱范围而未进行系统的变量选择，或者仅关注个别分类算法而未进行全面的模型比较。此外，评估策略通常仅限于内部验证，对独立测试或模型泛化的重视程度不足。这些限制可能会降低模型的稳健性、可解释性和可转移性，特别是在处理高维和高度共线光谱数据时[16]。为了填补香料认证中缺乏标准化和可扩展工作流程的空白，本研究提出了一种结构化且可扩展的分析框架，称为预处理–变量选择–模型调优–评估（PVME），用于使用NIR光谱技术对黑胡椒的地理来源进行分类。PVME框架整合了四个关键组成部分：（i）对原始光谱进行预处理以提高信号质量；（ii）选择有信息量的光谱特征；（iii）使用多种分类算法（包括线性判别分析（LDA）、支持向量机（SVM）、k最近邻（KNN）、极端梯度提升（XGB）和随机森林（RF）进行模型调优，以最大化预测性能；（iv）通过交叉验证和独立测试进行严格评估，以确保稳健性和泛化能力。本研究的主要贡献有三方面。首先，它通过在一个统一的框架内整合预处理、特征选择和多模型优化，系统地解决了先前基于NIR的来源研究中的关键分析限制。其次，它提供了一种全面的评估策略，提高了黑胡椒地理来源分类的可靠性和可解释性。第三，从工业角度来看，所提出的PVME框架实现了快速、客观和可扩展的来源验证，支持原材料检验、批量分类以及防止香料供应链中的掺假行为。此外，PVME的模块化设计使其可以直接适应使用NIR或中红外（MIR）光谱分析的其他农产品，突显了其在食品工艺工程和分析质量控制中的更广泛相关性。

2. 材料与方法

2.1. 样本收集与准备

共收集了160个黑胡椒样本，这些样本直接来自越南三个以胡椒生产闻名的地区：中北部、中部高地和东南部。具体来说，样本来自以下省份：Quang Tri（中北部）、Dak Lak、Dak Nong和Gia Lai（中部高地），以及Ba Ria–Vung Tau和Dong Nai（东南部）。样本是在每年的收获季节收集的，具体时间因省份的地理位置而异。然而，所有样本的收集时间都在2023年12月至2024年4月之间。样本经过直接日晒干燥3天处理。干燥后，根据TCVN 7040:2002（ISO 939:1980）标准采用标准烘箱干燥法测定样本的含水量。每个样本约40克，在Barnstead 4800炉中以105°C±2°C的温度干燥至恒重。质量测量使用四位小数的分析天平进行，每个测量重复三次并计算平均值。含水量范围在10%到13%之间，符合胡椒的质量标准。含水量测定后，样本立即密封在密封袋中并储存在避光的封闭箱中。在NIR扫描之前，密封样本在室温（25°C±2°C）下放置约5小时以进行热平衡。在此期间，密封袋未打开；因此，与周围环境的水分交换可以忽略不计。

2.2. NIR光谱测量

使用DLP NIRscan Nano EVM光谱仪（美国德州仪器公司制造）记录收集到的样本光谱，该光谱仪配备钨卤素光源和InGaAs探测器，并固定在封闭箱中以防止实验过程中的外部光线和振动。扫描模式、扫描范围和分辨率的设置分别调整为反射模式、900–1700纳米和2纳米。每个样本大约30克被放入白色瓷杯中。为了确保测量表面平整，使用玻璃棒在杯子顶部滑动以平整样本表面。每个样本进行十次光谱测量，每次测量后都会将样本重新放入聚乙烯密封袋中。

2.3. 数据分析程序

2.3.1. 数据分析工作流程：PVME框架

本研究采用结构化的PVME框架来分析NIR光谱数据，并开发和验证准确、可泛化的模型。如图1所示，工作流程包括四个关键阶段：

1. 预处理（P）：使用基线校正、平滑、标准化和标准正态变量（SNV）变换等技术处理原始NIR光谱，以减少噪声并提高信号质量。

2. 变量选择（V）：使用多种方法选择相关的光谱特征，以减少维度、避免偏差并保留必要的预测信息。这一步提高了模型的可解释性和性能。虽然最初使用完整的光谱范围构建模型，但本研究的主要目的是比较不同的变量选择策略，以提高模型的稳健性和可解释性，而不是与经常受到多重共线性和冗余信息影响的完整光谱模型进行基准测试。

3. 模型调优（M）：使用LDA、XGB、RF、SVM和KNN等算法训练模型，并使用网格搜索等技术优化超参数，以确定表现最佳的模型。

4. 评估（E）：在独立的测试集上验证最佳模型，并通过交叉验证评估训练期间的模型性能，以确保对新数据的强泛化能力。尽管PCA通常用于探索性可视化，但本研究侧重于使用完整光谱数据的监督分类性能，并通过交叉验证和独立测试评估模型稳健性。

2.3.2. 预处理方法

NIR光谱数据的分析经常受到背景干扰、光散射效应和各种类型噪声的影响，这些因素可能会影响预测模型的准确性。为了解决这些问题，有效的数据预处理至关重要，因为它可以将原始光谱数据转换为更干净、更精确的格式，从而最终提高模型性能。在本研究中，在模型训练之前对原始光谱应用了四种不同的预处理组合，详见表1。表1. 预处理技术组合的详细信息。

2.3.3. 变量选择算法

采用了五种变量选择算法来通过识别最有信息量的变量和减少冗余来提高模型性能。这些方法代表了不同的选择策略，包括逐点选择（SPA和UVE）、区间消除（CARS）和随机搜索方法（GA和SA）。连续投影算法（SPA）通过正交投影选择不相关的变量，并使用基于马氏距离的成本函数进行评估。为了保持一致性，选择了固定数量的变量，而不是优化链长。不相关信息变量消除（UVE）通过分析从随机数据子集构建的模型中的回归系数变化来移除不稳定变量。该算法配置了5个PLS组件、500次迭代、20%的测试数据和5折交叉验证。遗传算法（GA）通过选择、交叉和变异模拟进化过程，配置了4代、0.2的变异率和0.5的交叉率以及100的种群大小。模拟退火（SA）通过早期概率性地接受较差的解决方案来探索不同的变量组合，以避免陷入局部最优解。初始温度设置为100，冷却率为0.99，每步迭代100次。竞争性自适应加权采样（CARS）根据回归系数迭代地移除信息量较少的波长，使用50次蒙特卡洛迭代，最多包含20个PLS组分，采用10折交叉验证，并将数据分为80%的校准集和20%的验证集。这些方法共同通过优化输入变量集来提升模型性能。

2.3.4 机器学习（ML）模型
在本研究中，采用了多种线性和非线性ML算法，包括LDA、XGB、RF、SVM和KNN，来开发近红外光谱（NIRS）模型。LDA通过分析类别散布矩阵广泛用于分类[17]。XGB以其高性能而闻名，它结合了弱分类器并使用正则化来减少过拟合[18]。RF从随机数据和特征子集中构建多个决策树，通过集成学习提高准确性和鲁棒性[19]。SVM使用核函数为非线性数据找到最优超平面进行分类[19]。KNN是一种非参数方法，根据欧几里得或曼哈顿等距离度量来对邻近样本进行分类[20]。

2.3.5 模型优化
数据集使用分层抽样方法随机分为训练集（80%）和测试集（20%），以保持类别分布的一致性。所有模型都应用相同的 数据划分方式，以确保公平比较。GridSearchCV被用来使用预定义的搜索范围优化每个ML模型的超参数。对于LDA，参数包括求解器（svd、lsqr和eigen）和收缩（无和自动）。SVM（C-SVC）模型通过调整C值（0.1、1、10和100）和不同核函数（线性、rbf和poly）来进行调优。KNN通过改变邻居数量（3、5、7和9）、距离度量（欧几里得、曼哈顿）和权重函数（均匀和距离）来进行配置。对于RF，探索了树的数量（50、100和200）和树深度（无、5、10和20）。XGB通过调整估计器数量（50、100和200）、最大深度（3、5和7）和学习率（0.01、0.1和0.2）来进行调优。所有模型都使用五折交叉验证进行训练和验证，并通过计算所有折叠的准确率标准差（SD）来评估其稳定性。

2.3.6 模型评估
使用ML模型确定了黑胡椒样本的地理来源，测试集作为这一确定的基础。通过计算交叉验证得到的准确率值的标准差（SD）来评估每个模型识别性能的一致性。此外，还将原始光谱数据（未经预处理）的识别结果与使用四种不同预处理技术得到的结果进行了比较。比较基于关键性能指标，包括准确率、精确度、召回率和特异性，这些指标是使用以下公式计算得出的。鉴于本研究强调实际预测性能，模型稳定性是通过交叉验证和准确率SD来评估的，而不是通过正式的ANOVA测试。

2.4 软件
整个分析是使用Python编程语言（版本3.12.0，Python软件基金会，美国特拉华州）和几个用于数据科学的Python库（包括SciPy、NumPy、Pandas和scikit-learn）来执行的。此外，还参考了Martin Wieser（瑞典空间物理研究所）开发的基线校正库。

3. 结果与讨论
3.1 黑胡椒的NIR光谱
表2展示了本研究中使用的160个黑胡椒样本的描述性统计信息。表2. 黑胡椒样本的地理来源的总体统计信息。地区
省份
样本数量
北中部
昆堤
42
中部高地
达农
22
达拉克
21
吉莱
20
东南部
巴里亚-温陶
35
东奈
20

图2展示了来自不同种植区域的黑胡椒样本的NIR光谱，覆盖了900–1700纳米的波长范围。由于光谱带重叠较广且存在高光谱交叉干扰，通过视觉检查区分特定的NIR波长区域非常具有挑战性。主要的光谱区域包括1100–1200纳米，对应于CH2的第二泛音的C–H伸缩振动[21]。1400–1500纳米范围显示出强烈的吸收，可能与O–H伸缩（淀粉的第一泛音）和N–H伸缩振动有关[21]。图2展示了整个黑胡椒的NIR反射率组合图。在1600–1700纳米范围内，吸收光谱可能是由C–H伸缩振动（CH2的第一泛音）和酰胺基团中的特征N–H键伸缩振动引起的。光谱显示出宽泛且重叠的峰值，强度各异，表明样本内部的化学成分存在差异。这些差异反映了土壤特性以及黑胡椒样本的地理来源的不同。预处理技术，包括基线校正（ALS和ARPLS）、标准化（SNV和MSC）、导数变换（D1和D2）和SG平滑，显著提高了160个胡椒样本的NIR光谱的清晰度。MSC和SNV有效减少了来自颗粒大小和物理效应的光散射，增强了1150–1250纳米和1400–1500纳米处的吸收特征。ALS和ARPLS稳定了基线并抑制了背景噪声，特别是在970–1000纳米和1600–1700纳米区域，有助于化合物的识别。D1提高了光谱分辨率，并突出了1200–1300纳米、1400–1500纳米和1600–1700纳米范围内的细微特征。值得注意的是，1100–1200纳米范围与C–H伸缩振动相关，反映了胡椒碱和精油烃类中存在的甲基和亚甲基基团[22]。1400–1500纳米区域包括O–H伸缩带（集中在1450纳米附近）以及N–H的贡献，主要来自水中的羟基和酚类化合物[23]。尽管D2揭示了隐藏的峰值，但也在较长波长处引入了噪声。SG平滑有效减少了噪声，同时保留了关键的光谱信息。

3.2 通过变量选择算法选定的波长分析
在本研究中，使用了五种不同的变量选择算法（包括GA、SPA、SA、UVE和CARS）从NIR光谱数据中提取与黑胡椒地理来源相关的关键波长。图3中，x轴表示波长（纳米），y轴列出了选择算法的名称。深色带表示相应算法选定了特定波长，而较浅的区域表示未选定的波长。SPA方法在整个光谱范围内只选择了一些分散的波长，表明它是一种高度选择性的方法，专注于最关键的波长，从而显著降低了数据的维度。相比之下，UVE选择了900–1040纳米范围内的连续波长段，表明这种方法保留了特定光谱区域的信息，而不是单个波长。同时，GA选择了分布在整个光谱范围内的波长，没有集中在任何特定区域。这种选择模式反映了GA的特性，它采用策略性但随机的搜索来优化特征集。与GA类似，SA也选择了分散的波长，但看起来更加密集。最后，CARS方法在较宽的范围内选择了波长，但在1150纳米、1200–1300纳米和1600–1700纳米区域表现出明显的集中。芳香环的光谱研究已经确定了1670纳米附近的一个特征性CH吸收峰，该区域也与精油成分（如萜类）的强吸收相关。因此，1600–1700纳米范围内的吸光强度与CH基团含量正相关，包括胡椒碱、萜类和黑胡椒中的生物碱等化合物[22]。由于CARS采用迭代策略来优化波长子集，所选波长可能反映了不同光谱区域对模型预测性能的贡献。总体而言，观察到的波长选择模式与黑胡椒的已知化学成分和之前的基于NIR的香料鉴定研究一致。SPA和CARS强调的区域与C–H、O–H和N–H官能团的泛音和组合带相对应，这些是胡椒碱、萜类和其他精油化合物的关键成分的特征。在之前的NIR研究中，类似的光谱区域已被报道为区分胡椒和香料来源的判别特征。因此，所应用的变量选择方法不仅减少了光谱冗余，还突出了与地理区分相关的化学上有意义的特征。

3.3 NIRS模型的性能
每种ML算法都经过超参数优化，以确定最有效的配置，然后选择表现最佳的模型进行训练和测试数据集的性能评估。总体而言，结果表明KNN和RF模型的性能优于LDA、SVM和XGB（图4）。这种优越的性能可能归因于它们对噪声的更强鲁棒性、不依赖于线性可分性的假设，以及它们在处理NIR光谱数据中常见的复杂和重叠模式方面的增强能力。这些特性在农业来源分类领域特别有利，因为这类数据的复杂性很普遍[24]。通过在训练集上优化模型参数并在独立测试集上进行验证（图5），我们进一步强调了这些模型在农业质量控制和追溯系统中的通用性和实际应用性。

3.2 通过变量选择算法分析选定的波长
在本研究中，使用了五种不同的变量选择算法（包括GA、SPA、SA、UVE和CARS）从NIR光谱数据中提取与黑胡椒地理来源相关的关键波长。图3中，x轴表示波长（纳米），y轴列出了选择算法的名称。深色带表示相应算法选定了特定波长，而较浅的区域表示未选定的波长。SPA方法在整个光谱范围内只选择了一些分散的波长，表明它是一种高度选择性的方法，专注于最关键的波长，从而显著降低了数据的维度。相比之下，UVE选择了900–1040纳米范围内的连续波长段，表明这种方法保留了特定光谱区域的信息，而不是单个波长。同时，GA选择了分布在整个光谱范围内的波长，没有集中在任何特定区域。这种选择模式反映了GA的特性，它采用策略性但随机的搜索来优化特征集。与GA类似，SA也选择了分散的波长，但看起来更为密集。最后，CARS方法在广泛的范围内选择了波长，但在1150纳米、1200–1300纳米和1600–1700纳米区域表现出明显的集中。芳香环的光谱研究已经确定了1670纳米附近的一个特征性CH吸收峰，该区域也与精油成分（如萜类）的强吸收相关。因此，1600–1700纳米范围内的吸光强度与CH基团含量正相关，包括胡椒碱、萜类和生物碱等化合物[22]。由于CARS采用迭代策略来优化波长子集，所选波长可能反映了不同光谱区域对模型预测性能的贡献。总体而言，观察到的波长选择模式与黑胡椒的已知化学成分和之前的基于NIR的香料鉴定研究一致。SPA和CARS强调的区域与C–H、O–H和N–H官能团的泛音和组合带相对应，这些是胡椒碱、萜类和其他精油化合物的关键成分的特征。在之前的NIR研究中，类似的光谱区域也被报道为区分胡椒和香料来源的判别特征。因此，所应用的变量选择方法不仅减少了光谱冗余，还突出了与地理区分相关的化学上有意义的特征。

3.3 NIRS模型的性能
每种ML算法都经过超参数优化，以确定最有效的配置，然后选择最佳性能的模型进行性能评估。优化后的参数被记录下来，并用于配置模型以在训练和测试数据集上进行性能评估。总体而言，结果表明KNN和RF模型的性能优于LDA、SVM和XGB（图4）。这种优越的性能可能归因于它们对噪声的更强鲁棒性、不依赖于线性可分性的假设，以及它们在处理NIR光谱数据中常见的复杂和重叠模式方面的增强能力。这些特性在农业来源分类领域特别有利，因为这类数据的复杂性很普遍[24]。通过在训练集上优化模型参数并在独立测试集上进行验证（图5），我们进一步强调了这些模型在农业质量控制和追溯系统中的通用性和实际应用性。

4. 局限性和未来工作
尽管取得了这些有希望的结果，但仍应承认一些局限性。相对有限的样本量和地理覆盖范围可能会限制模型在多样化工业条件下的泛化能力。此外，本研究没有与传统化学方法（如HPLC）或经典化学计量基线进行基准测试。虽然选定的波长区域是基于与CH、OH和NH官能团相关的已建立的NIR分配进行解释的，但这些化合物如胡椒碱和精油，但没有进行并行化学验证。因此，未来的研究应优先考虑扩展数据集，涵盖更多区域、收获季节和采后处理，以增强在现实变异性下的鲁棒性。使用从商业供应链和第三方实验室收集的样本进行独立的外部验证，对于评估实际性能至关重要。通过数据增强、迁移学习以及结合近红外光谱（NIR）与互补技术的混合分析方法，可以实现方法上的进步，从而提高解释性和可转移性。此外，将所提出的PVME框架与数字可追溯性基础设施（包括基于区块链的供应链系统）集成，是加强地理来源验证透明度和信任的一个有前景的方向。通过将基于NIR的认证结果与关键供应链节点上的不可更改的数字记录关联起来，这种集成可以支持可持续性认证、自动化审计和端到端的可追溯性。与行业利益相关者和监管机构的密切合作对于大规模验证和在农业食品系统中的实际应用至关重要。

5. 结论

基于分析结果，结合KNN和RF算法的NIR光谱数据提供了一种强大且可靠的协议，用于快速确定越南胡椒的地理来源。从交叉验证和独立测试结果之间的可比性能来看，没有观察到明显的过拟合现象。该模型在训练集上的准确率、精确度、召回率和特异性分别为92%、93%和98%，在测试集上分别为93%、94%、93%和98%。这些结果是通过严格的交叉验证和使用GridSearchCV进行超参数优化获得的。特征选择方法，特别是SPA和UVE，对分类性能的提升起到了重要作用。预处理流程整合了基线校正和一阶导数变换（ALS-SG-D1），结合基于SPA的特征选择和KNN模型，实现了最高的整体性能。从应用角度来看，所提出的基于NIR的方法相比行业中常用的传统分析技术（如色谱法或同位素法）具有明显优势，因为后者通常劳动密集、具有破坏性且成本较高。相比之下，所提出的框架能够实现快速、无损且成本效益高的筛查，适用于工业食品加工和保存环境的常规应用。将其集成到原材料接收和处理工作流程中，可以根据验证的地理来源及时、客观地对进料批次进行分类，从而降低无意或欺诈性混合的风险，并有助于保持产品质量和合规性。此外，本研究引入了一个标准化的NIR光谱分析框架PVME，旨在提高来源认证研究的透明度和可重复性。通过明确定义预处理程序、特征选择协议和验证策略，该框架使研究人员、质量保证人员和监管机构能够直接复制和调整。尽管本研究主要关注黑胡椒，但该方法论框架可以轻松扩展到各种农产品，支持在线过程监控、实时质量评估和成分预测等应用。所提出工作流程的清晰性和模块化也便于食品科学、化学计量学、数据科学和工业工程等多学科领域的读者理解。

致谢

本研究得到了越南科学技术部的支持，项目名称为“利用区块链技术管理越南胡椒的生产和消费链”（项目编号KC-4.0-24/19-25）。

资金支持

本研究得到了越南科学技术部的支持。

利益冲突

作者声明没有利益冲突。

数据可用性声明

用于分析的代码和数据集存储在https://osf.io/x69e3仓库中。作者欢迎对本文所述材料提出更多信息的需求。