AgeVision：整合生物标志物和面部分析技术以实现精确的年龄预测

《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》：AgeVision: Integrating Biomarkers and Facial Analysis for Accurate Age Prediction

多模态融合年龄预测框架AgeVision结合生理生物标志物与面部分析，通过stacking集成和端到端特征融合两种方法解决数据异构问题。在UTKFace和心血管数据集上，stacking模型MAE为2.55年，优于单模态面部分析（3.43年）和生物标志物（5.41年）。本地101人配对数据集的concatenation模型MAE达8.2年，凸显配对数据局限性。研究验证了Grad-CAM和SHAP的可解释性，并部署了实时可解释的Web应用，证实多模态系统在医学和法律领域更具鲁棒性和临床价值。

　　

摘要

本研究旨在创建AgeVision，这是一个新的框架，它通过生理生物标志物和面部分析的协同组合来提高年龄预测的准确性。年龄估计是一项复杂的任务，在医学和法医学领域具有重要意义，因为单一模式的方法有时无法提供全面的评估结果。我们的解决方案有两个部分来应对数据方面的挑战：一是利用未配对的公共信息构建堆叠集成模型，二是采用基于串联的深度学习模型来端到端地学习定制的配对数据。为了将面部特征提取与ResNeXt50卷积神经网络（CNN）相结合，并将生物标志物分析与XGBoost回归器相结合，我们在堆叠模型之后添加了一个元学习器来进行最终预测。该模型使用了大规模公共数据（UTKFace：超过20,000张图像；心血管数据：70,000条记录），其平均绝对误差（MAE）为2.55岁，这一结果几乎是基于单一面部特征模型（MAE：3.43岁）和基于生物标志物模型（MAE：5.41岁）的五分之二和三分之二。而我们在本地配对数据集（n = 101名受试者）上训练的串联模型表明，直接融合特征是可行的，但其MAE为8.2岁，这突显了配对数据的局限性。Huber结果显示，基于堆叠的模型的MAE为2.8岁，而基于串联的模型的MAE为8.7岁。对于本地配对数据集，我们使用了基于串联的模型，其中包含了六层CNN模型和多层感知器（MLP）。通过可解释人工智能（XAI）方法（如Grad-CAM和SHAP）验证了模型的决策过程，这些方法表明模型关注的是面部和生物标志物中生物学上合理的区域。此外，我们还提供了两个实际应用示例，这两个应用程序可以实时提供年龄预测，并且具有可解释性。综上所述，这种多模态集成系统提供了一个更加稳健、准确且在临床实践中可行的年龄估计系统。

本研究旨在创建AgeVision，这是一个新的框架，它通过生理生物标志物和面部分析的协同组合来提高年龄预测的准确性。年龄估计是一项复杂的任务，在医学和法医学领域具有重要意义，因为单一模式的方法有时无法提供全面的评估结果。我们的解决方案有两个部分来应对数据方面的挑战：一是利用未配对的公共信息构建堆叠集成模型，二是采用基于串联的深度学习模型来端到端地学习定制的配对数据。为了将面部特征提取与ResNeXt50卷积神经网络（CNN）相结合，并将生物标志物分析与XGBoost回归器相结合，我们在堆叠模型之后添加了一个元学习器来进行最终预测。该模型使用了大规模公共数据（UTKFace：超过20,000张图像；心血管数据：70,000条记录），其平均绝对误差（MAE）为2.55岁，这一结果几乎是基于单一面部特征模型（MAE：3.43岁）和基于生物标志物模型（MAE：5.41岁）的五分之二和三分之二。我们在本地配对数据集（n = 101名受试者）上训练的串联模型表明，直接融合特征是可行的，但其MAE为8.2岁，这突显了配对数据的局限性。Huber结果显示，基于堆叠的模型的MAE为2.8岁，而基于串联的模型的MAE为8.7岁。对于本地配对数据集，我们使用了基于串联的模型，其中包含了六层CNN模型和多层感知器（MLP）。通过可解释人工智能（XAI）方法（如Grad-CAM和SHAP）验证了模型的决策过程，这些方法表明模型关注的是面部和生物标志物中生物学上合理的区域。此外，我们还提供了两个实际应用示例，这两个应用程序可以实时提供年龄预测，并且具有可解释性。综上所述，这种多模态集成系统提供了一个更加稳健、准确且在临床实践中可行的年龄估计系统。