《IEEE Transactions on Systems, Man, and Cybernetics: Systems》：Employing Eye Tracking to Assess Proficiency Level in Manufacturing Tasks via Machine Learning
编辑推荐：
本期推荐：为优化高复杂度、低产量的制造任务并提升培训效率，研究者以焊接操作为场景，利用去时间戳的（atemporal）眼动追踪数据，结合KNN和决策树等机器学习模型，评估工人的技能水平。研究探讨了主成分分析（PCA）特征提取对模型性能的改进，发现基于95% PCA数据的精细决策树模型，在对训练集受试者新会话和未参与训练受试者会话的分类中，均表现出最稳定且稳健的性能，表明其可提取出普适的、不依赖时序背景但仍能指示技能的眼动模式。
在制造业中，尤其是高复杂度、低产量的生产环节，完全自动化往往成本高昂或技术难度大，因此熟练工人的价值不言而喻。然而，如何客观、高效地评估工人的技能水平，并据此设计更有针对性的培训方案，一直是业界面临的挑战。传统评估方法可能过于依赖主观判断或繁琐的绩效记录。与此同时，眼动追踪技术为我们打开了一扇窗，因为眼睛的运动模式被认为与认知负荷和任务熟练度密切相关。但过往研究多依赖于时序性的眼动数据，这在实际应用中可能受限于数据采集的连续性和处理复杂度。那么，能否抛开时间线的束缚，仅从非序列的眼动特征中准确区分新手与专家呢？这正是发表在《IEEE Transactions on Systems, Man, and Cybernetics: Systems》上的这项研究所要探索的核心问题。
研究人员开展了一项以焊接任务为对象的研究。他们招募了16名受试者，收集了他们执行任务时的眼动数据，并刻意移除了时间戳信息，形成了“去时间戳的”（atemporal）数据集。这些数据主要包括非序列性的眼球运动信息和瞳孔尺寸。研究团队随后运用了多种机器学习模型，包括K近邻（KNN）和决策树等，试图仅凭这些数据来评估工人的任务技能水平。此外，为了提升模型的性能、效率和鲁棒性，他们进一步引入了主成分分析（PCA）进行特征提取。PCA因其算法高效性，且能通过将数据对齐到独立轴上从而提升树算法性能的特点而被选用。最终，研究发现，基于95% PCA数据训练的精细决策树模型表现最为稳定。该模型不仅在对训练受试者的新会话（session）进行分类时取得了平均68.88%、中位数80.97%的准确率，在对未参与训练的测试受试者会话进行分类时也达到了平均72.64%、中位数75.13%的准确率。更重要的是，该模型对异常趋势表现出很强的鲁棒性，这表明它成功提取出了普适性的眼动追踪趋势——这些趋势不依赖于连续的上下文信息，却依然能够有效指示工人的技能水平。
主要关键技术方法：
本研究主要基于16名受试者执行焊接任务时采集的眼动数据。关键技术包括：1) 数据预处理：生成“去时间戳的”（atemporal）眼动数据集，移除了时间序列信息。2) 机器学习建模：应用了包括K近邻（KNN）和决策树在内的多种分类算法，以区分新手（beginner）与专家（expert）的会话。3) 特征工程：采用主成分分析（PCA）对原始眼动特征进行降维和提取，旨在提升模型性能与效率。
研究结果：
模型性能比较： 研究比较了多种机器学习模型在分类任务上的表现。结果显示，不同的模型在准确率上存在差异，其中一些树模型展现了潜力。
PCA的影响： 研究发现，引入PCA进行特征提取对模型性能产生了显著影响。特别是对于决策树类算法，PCA通过将数据对齐到独立轴，有助于提升其分类表现。
最优模型识别： 综合分析表明，基于95% PCA数据训练的精细决策树（fine-tree）模型在所有测试中表现出最一致且稳健的性能。该模型不仅在训练受试者的未见会话上取得了较高准确率（平均68.88%，中位数80.97%），在完全未参与训练的测试受试者会话上也保持了良好性能（平均72.64%，中位数75.13%）。
鲁棒性分析： 该精细决策树模型对数据中的异常趋势（outlier trends）表现出较强的抵抗力，这说明模型并非过度拟合个别奇异模式，而是学习到了能够泛化的、与技能水平相关的核心眼动特征。
结论与讨论：
本研究成功证明，即使移除了时间戳信息，仅利用非序列的眼动追踪数据（包括眼球运动和瞳孔尺寸），结合机器学习方法，仍然能够有效评估工人在制造任务（如焊接）中的技能水平。通过系统比较，研究发现基于主成分分析（PCA）降维后数据训练的精细决策树模型，在区分新手与专家时，无论是在训练集内部验证还是面对全新受试者时，都表现出最优且最稳健的分类性能。这一结果表明，该模型能够从杂乱的眼动数据中提取出普适的、不依赖于具体操作时序、却依然能深刻反映技能差异的内在模式。这项工作的意义重大：首先，它提供了一种更简化、可能更通用的技能评估框架，降低了对连续、完整时序数据的依赖，拓宽了眼动技术在工业应用中的场景。其次，高鲁棒性的模型意味着评估结果更可靠，受个体异常行为干扰小。最后，该研究不仅为优化高复杂度手工生产流程提供了量化工具，也为设计更高效的技能培训方案、深入理解技能习得的认知基础开辟了新的数据驱动途径。
