《Artificial Intelligence in Medicine》：GFASNet: Gait feature attention-driven deep sequential network for dementia-related gait pattern analysis
编辑推荐：
步态分析中注意力机制模型GFASNet通过整合特征级注意力与递归神经网络架构，显著提升阿尔茨海默病预测性能并揭示临床相关步态生物标志物。
Quynh Hoang Ngan Nguyen|Ankhzaya Jamsrandorj|Dawoon Jung|Sung Woo Kim|Jinwook Kim|Min Seok Baek|Kyung-Ryoul Mun
韩国科学技术院（KIST）智能与交互研究中心，首尔，02792，大韩民国
摘要
利用人类活动数据（如步态）的深度学习模型在痴呆症预测方面展现出潜力。然而，这些模型的可解释性有限，且缺乏临床意义上的洞察力，这限制了它们在认知健康研究中的转化价值。本研究介绍了GFASNet，这是一种基于步态特征注意力的深度序列网络，主要通过模型衍生的注意力机制来识别与痴呆症相关的步态变化，这些变化可能作为潜在的数字生物标志物。GFASNet将特征级别的注意力整合到序列深度学习架构中，以提高模型的透明度并量化各个步态参数的相对贡献。从232名在压力传感器步道上进行自由行走测试的参与者那里收集了时空步态数据。使用由八个连续步幅组成的步态序列来训练和评估四种基于不同循环架构的GFASNet变体：长短期记忆（Long Short-Term Memory）、双向长短期记忆（Bidirectional Long Short-Term Memory）、门控循环单元（Gated Recurrent Unit）和双向门控循环单元（Bidirectional Gated Recurrent Unit）。所有GFASNet模型在分类任务中的表现都优于非注意力基线模型。重要的是，注意力权重分析表明，这些模型在区分痴呆症病例时始终关注特定的步态特征，突显了它们作为数字生物标志物的潜在相关性。这些发现表明，GFASNet不仅增强了痴呆症的识别能力，还促进了认知健康研究中可解释且具有临床意义的步态分析。
引言
步态变化作为痴呆症的潜在生物标志物受到了越来越多的关注[1]。由于步态依赖于运动、认知和感知系统的复杂整合，其紊乱反映了与痴呆症进展相关的神经病理变化[2]、[3]。许多研究报道了不同类型痴呆症中步态障碍的独特模式，例如行走速度减慢[4]、[5]、双支撑时间延长[6]以及步幅变异性增加[7]、[8]。此外，步态可以通过多种测量技术进行非侵入性评估，非常适合在社区和家庭环境中进行持续监测。这些优势使得步态评估成为一种实用且可扩展的痴呆症筛查和长期监测方法。
数字步态测量和基于机器学习的计算方法的最新进展扩大了在包括痴呆症在内的多种健康状况中应用步态评估的机会[9]、[10]、[11]、[12]。传统方法通常涉及从仪器系统中提取步态特征，并使用传统的统计技术进行分析[13]、[14]。虽然这些方法具有可解释性和临床基础，但它们往往无法捕捉高维步态数据的复杂性，可能会忽略与认知衰退相关的细微模式。作为回应，现代分析方法越来越多地采用能够对步态动态中的复杂非线性关系进行建模的机器学习技术[9]、[15]、[16]、[17]。其中，深度学习方法通过直接从原始步态数据中学习特征表示而显示出特别的前景，从而减少了对手动特征工程的需求[18]、[19]、[20]、[21]。尽管这些模型的预测性能有所提高，但它们通常缺乏可解释性，因为它们的潜在表示生成分类结果时并不揭示哪些步态模式对此有贡献。这限制了它们在痴呆症研究中的临床应用。
为了解决可解释性挑战，出现了一种可解释的深度学习方法，该方法旨在阐明神经网络的决策过程，并以生理上可解释的方式识别对模型预测有意义的输入特征。Bahdanau等人（2015年）引入了注意力机制，通过使模型在推理过程中动态关注最具信息量的输入区域来增强特征归因[22]。在此基础上，Luong等人（2015年）提出了全局和局部注意力机制来改进序列到序列模型[23]。Vaswani等人（2017年）后来引入了Transformer模型，该模型完全依赖于自注意力，重新定义了时间序列和序列数据分析的深度学习范式[24]。同时，Selvaraju等人（2017年）开发了Grad-CAM，这是一种基于梯度的类别激活映射方法，为深度学习模型提供了视觉解释[25]。这些可解释性技术在运动障碍的步态分析[26]和神经退行性疾病的神经影像学[27]、[28]等领域显示出潜力。然而，它们在痴呆症步态分析中的应用仍需进一步探索。这一差距阻碍了识别与认知障碍相关的临床相关步态特征的进展。
为了克服这一限制，我们提出了GFASNet，这是一种基于步态特征注意力的深度序列网络，旨在提高基于人工智能的痴呆症步态分析的可解释性和预测性能。与主要捕捉时间依赖性的标准序列模型不同，GFASNet集成了一个步态特征注意力模块，以明确识别和优先考虑有信息量的步态特征。这一架构支持我们的第一个目标：通过基于注意力的分析来研究与痴呆症相关的步态模式，从而识别潜在的数字生物标志物。我们的第二个目标是通过对其注意力模块进行架构变体调整，并将四种GFASNet变体与标准序列基线（包括LSTM、GRU及其双向对应物BiLSTM和BiGRU）进行基准测试，来评估GFASNet的有效性。通过同时解决可解释性和分类性能问题，GFASNet推动了基于步态的认知健康评估的临床相关和可解释AI工具的发展。本研究的主要贡献如下：
- •
我们利用通过自己的自由行走实验从232名参与者那里收集的临床验证的步态数据集，解决了开放获取步态数据稀缺的问题，并确保了模型开发和评估的临床相关性。
- •
我们提出了GFASNet，这是一个可解释的深度学习框架，它整合了特征级别的注意力，以量化各个步态参数在痴呆症识别中的重要性。
- •
我们分析了注意力权重的分布，以识别模型在区分痴呆症患者和健康对照组时优先考虑的步态特征，从而支持临床相关数字生物标志物的识别。
- •
我们对四种GFASNet变体与标准序列基线（LSTM、BiLSTM、GRU和BiGRU）进行了全面比较，结果表明，增强注意力的架构一致优于非注意力基线模型。
部分摘录
参与者
2022年1月至2023年6月期间，从韩国Wonju Severance Christian医院的记忆障碍诊所招募了总共232名参与者，包括57名健康对照组（HC；29名男性和28名女性；年龄=71.04±7.53岁；MMSE评分=26.90±2.72）和175名痴呆症患者（DE；69名男性和106名女性；年龄=76.94±8.17岁；MMSE评分=18.13±5.21）。痴呆症亚型包括但不限于阿尔茨海默病（AD）和血管性痴呆
基于GFASNet的分类性能
表II总结了四种GFASNet变体在区分DE和HC方面的分类性能。图5展示了每种变体最佳配置下的样本级和受试者级的标准化混淆矩阵。
在样本级分类任务中，bilstm-GFASNet取得了最高的性能，准确率为0.927，F1分数为0.937。其次表现最好的是bigru-GFASNet
讨论
在这项研究中，我们介绍了GFASNet，这是一种基于注意力的可解释深度序列模型，用于识别痴呆症并探索时空特征中的痴呆症相关步态模式。我们引入了一个适配的特征注意力模块，使模型在训练过程中能够关注显著的步态特征，从而支持分类和解释。所有GFASNet变体在样本级和受试者级任务中都表现出一致强的性能
结论
在这项研究中，我们开发了GFASNet，这是一种基于注意力的可解释深度序列框架，用于使用时空步态特征进行痴呆症分类。通过将步幅级特征注意力与时间建模相结合，GFASNet在提供与痴呆症相关的步态变化的临床意义洞察的同时，实现了高分类性能。该模型有效识别了稳定的群体级区分特征和个体特定的变异性
缩写
| AD | 阿尔茨海默病 |
| APOE | 载脂蛋白E |
| BiGRU | 双向门控循环单元 |
| bigru-GFASNet | 带有BiGRU架构的GFASNet |
| BiLSTM | 双向长短期记忆 |
| bilstm-GFASNet | 带有BiLSTM架构的GFASNet |
| cbigru-GFASNet | bigru-GFASNet的简化版本 |
| cbilstm-GFASNet | bilstm-GFASNet的简化版本 |
| D1 | 对侧步幅差异 |
| D2 | 同侧步幅差异 |
| DE | 痴呆症 |
| DLB | 路易体痴呆
| DSN | 深度序列网络
| FTD | 额颞叶痴呆
| GFASNet | 步态特征
CRediT作者贡献声明
Quynh Hoang Ngan Nguyen：撰写——原始草稿、可视化、软件、形式分析、数据管理。Ankhzaya Jamsrandorj：验证、形式分析。Dawoon Jung：验证、形式分析。Sung Woo Kim：验证、形式分析。Jinwook Kim：验证、形式分析。Min Seok Baek：监督、资源、方法论、概念化。Kyung-Ryoul Mun：撰写——审稿与编辑、监督、资源、概念化。
伦理批准和参与同意
本研究获得了Wonju Severance Christian医院机构审查委员会（IRB编号2019–029，CR323036）的批准，并按照赫尔辛基宣言进行。所有参与者在参与实验前都提供了书面知情同意。
资助
本研究由韩国科学技术院（KIST）机构项目（项目编号2E33841）和韩国政府资助的韩国医疗器械开发基金（科学技术信息通信部、贸易产业能源部、卫生福利部、食品药品安全部，项目编号KMDF_PR_20200901_0101）资助。
利益冲突声明
所有作者声明没有财务或非财务利益冲突。
致谢
我们衷心感谢Wonju Severance Christian医院的Hyun Ji Lee、Ji Young Lee和Seo Hee Kim在参与者招募和神经心理测试方面的技术协助。我们还要感谢Wonju Severance Christian医院的核医学专家Jang Yoo和Narae Lee，他们根据18F-florbetaben PET确定了患者的β-淀粉样蛋白阳性情况。
