基于多模态张量数据融合的黄芪饮片质量分级方法

《IEEE Transactions on Big Data》：A Multimodal Tensor Data Fused Astragalus Slices Quality Grades Method

本文针对传统中药材黄芪饮片质量评估中存在的单一指标局限、多模态数据利用不足等问题，提出了一种基于多模态张量数据融合的质量分级方法。该研究创新性地引入协作引导机制与Tucker张量分解技术，构建了名为MAQG的融合模型，成功实现了对黄芪饮片外观特征、内在成分与图像等多模态数据的有效整合与精准分析。最终，该方法在自建数据集上的平均分类准确率达到88.14%，显著优于现有基准模型。这项工作不仅为中药材的质量科学评价提供了高效新工具，也为复杂高维生物医学数据的智能化处理提供了创新思路，具有重要的学术价值与应用前景。

　　

随着全球健康意识的提升，传统中医药在国际健康领域的地位日益凸显。作为补气养血的传统名贵中药材，黄芪在临床与日常保健中扮演着关键角色。然而，中药材的质量是决定其临床疗效、用药安全乃至国际化的核心要素。当前，针对黄芪等中药材的质量评估方法大多聚焦于单一的评价指标，但药材本身的多基因性、异质性和复杂性，使得对其质量进行全面而精准的等级划分面临巨大挑战。传统的深度学习方法虽在药材种类识别上效果显著，但在质量评估，尤其是融合外观、成分、图像等多源信息的综合判定方面，仍存在三个主要瓶颈：研究多集中于药材种类鉴定，对黄芪饮片质量分级的深入探索相对匮乏；方法多基于单模态数据构建模型，忽略了多模态数据间的潜在交互与信息互补；此外，缺乏公开可用的黄芪多模态数据集，限制了相关研究的深入开展。在这种背景下，如何突破现有技术的局限，实现对黄芪饮片质量更科学、更客观的自动化分级，成为了一个亟待解决的重要课题。

为了攻克这一难题，一项创新性研究被提出，并发表在《IEEE Transactions on Big Data》上。研究人员开发了一种名为“基于多模态张量数据融合的黄芪饮片质量分级方法”的新模型。该研究旨在通过融合外观特征、内在成分含量以及饮片图像等多模态数据，构建一个更全面、更精确的黄芪饮片质量评估体系。

这项研究主要应用了几个关键技术方法：首先，利用优化后的ResNet-152深度卷积神经网络模型对黄芪饮片的图像特征进行高效提取，同时将外观与成分的数值数据转化为张量形式。其次，创新性地设计了协作引导模块，通过双通道聚合与协作引导学习机制，促进图像与数值模态数据间的深度交互与对齐融合。然后，引入Tucker张量分解技术对融合后的高维张量进行分解，有效处理了多模态数据融合带来的高维复杂性问题，提升了计算效率并揭示了数据的潜在结构。最后，构建并训练了一个优化的全连接神经网络分类模型，基于融合与分解后的特征数据完成最终的质量等级分类任务。研究的样本数据来源于对甘肃省内不同生产企业、不同批次、不同规格的73批次黄芪饮片样品进行的测量，形成了名为GSHQ的实验数据集。

研究通过详尽的实验设计与结果分析，系统验证了所提出模型MAQG的优越性能。主要结果归纳如下：

一、多模态模型显著优于单模态模型。 在对比实验中，仅使用图像或数值数据的单模态模型（如MLP、LeNet-5、VGG等）准确率普遍较低（多在0.5-0.6范围内），且训练过程波动大、稳定性差。而融合了多模态数据的模型（如CoCa、CLIP、ViLBERT、UNITER）整体表现更优。其中，本文提出的MAQG模型表现最为突出，其训练准确率达到0.8814，平均损失仅为0.2639，且准确率的标准差最小（0.26），表明其性能最稳定、最佳。在包括准确率、召回率和F₁-score在内的综合评价指标上，MAQG模型同样全面领先，证明了其在质量分级任务上的高效与鲁棒性。

二、模型优化与超参数选择至关重要。 研究人员对MAQG模型进行了细致的优化。通过比较多种优化器，发现Adam优化器因其自适应学习率机制和偏置校正，为该分类任务带来了最佳的总体性能。进一步的超参数敏感性分析确定了模型的最佳配置：学习率为0.0003，训练轮数为50，权重衰减为0.0001，批次大小为32。在此最优参数组合下，模型达到了最低的平均损失（0.2639）和最高的平均准确率（0.8814）。

三、协作引导模块是提升性能的关键。 消融实验有力地证明了协作引导模块（CGM）的价值。对比加入CGM前后的模型性能发现，无论是基础的MLP、VGG模型，还是先进的CoCa、CLIP模型，在引入CGM后，其训练和验证准确率均得到显著提升，收敛速度加快，且训练与验证性能间的差距缩小，表明CGM有效缓解了过拟合，增强了模型的泛化能力。对于MAQG模型自身，CGM的集成使其获得了最高且最稳定的准确率，凸显了该模块在促进多模态信息交互与融合方面的核心作用。

四、外观特征与内在关键指标均与质量等级强相关。 研究不仅关注模型性能，还深入分析了影响黄芪饮片质量的关键因素。利用局部曲率估计算法对饮片图像进行分析发现，一等品饮片的曲率特征图颜色分布均匀，表面光滑无明显缺陷；而二等品和三等品的曲率特征图则出现显著的颜色变化，反映出表面缺陷程度的增加。这种曲率特征的变化与质量等级呈负相关，验证了模型捕捉外观关键信息的能力。同时，通过因子分析和方差分析，确定了黄芪大小、b^*值（黄蓝值）、异黄酮苷、黄芪甲苷和多糖这五个指标在不同等级间存在显著差异。散点矩阵图分析进一步显示，饮片尺寸与等级呈强正相关，一等品尺寸最大；虽然b^*值与其他指标相关性不显著，但其分布范围在不同等级间也存在差异；此外，多糖、黄芪甲苷和异黄酮苷这三种内在活性成分的含量呈显著正相关，且在一等品中含量最高，共同决定了黄芪的药用功效。

研究的结论与讨论部分深刻总结了本工作的意义。本研究首次将基于多模态张量融合的质量分级方法应用于黄芪饮片的分类，提出了一种新颖的协作引导模块，并通过在自建数据集上的大量实验证明了该方法在复杂黄芪饮片质量分析中的显著有效性。MAQG模型通过协同引导机制和Tucker张量分解，巧妙地克服了多模态数据高维复杂的挑战，实现了外观性状、内在关键质量指标与图像信息之间的深度关联与融合，从而将平均分类准确率提升至88.14%。

这项研究的重要意义在于：在实践层面，它为传统中药材，尤其是黄芪饮片的质量评价提供了一种更高效、更精准的自动化智能解决方案，有望推动中药质量控制的标准化与科学化进程。在学术层面，该研究提出的多模态张量融合框架和协作引导机制，为解决其他领域复杂高维数据的表示、融合与分析问题提供了可借鉴的新范式。尽管研究存在样本来源相对集中、数据集规模有待扩大等局限性，但其创新性的方法设计和令人信服的实验结果，无疑为人工智能技术在传统医学和生命科学领域的深度应用开辟了新的道路，展现了大数据与人工智能技术赋能传统产业升级的巨大潜力。