一种用于视频抑郁识别的长期-短期行为进化建模方法

《Biomedical Signal Processing and Control》：A long–short behavioral evolution modeling for video depression recognition

　　谢万清|朱瑶楠|林永祺|何小园|张宝亮|王彦忠|刘小峰|程明梅
安徽医科大学生物医学工程学院智能医疗工程系，中国合肥230011

摘要
长期建模已被证明对于基于视频的抑郁症识别非常有效，并且最近受到了越来越多的关注。然而，一个关键挑战是长期抑郁症建模往往会掩盖重要的行为线索，使得难以学习出能够真实反映整体抑郁状态的全球性表征。为此，本文提出了一个名为“Long–short Behavioral Evolution for Depression”（LS-BED）的框架。该框架同时捕捉长期行为演变和运动增强的短期动态，以形成用于抑郁症识别的区分性表征。具体来说，LS-BED包含三个组成部分：1）短期动态增强器（SDB），它专注于短期动态中的多样化运动线索，突出捕捉微妙的运动和显著的反应；2）长期演化时间线（LET），通过检测面部锚点（即捕捉面部动态关键转变的帧）来描述抑郁行为的时间进程，从而有效地模拟长期行为演变，同时保留关键的局部信息；3）双阶段协同融合（DCF），它系统地整合了长短期双向交互和多尺度时间聚合，从而实现对不同尺度时间依赖性的全面建模。在AVEC2013、AVEC2014和DAIC-WOZ数据集上的实验表明，LS-BED在抑郁症识别方面取得了优异的性能，平均绝对误差（MAE）和均方根误差（RMSE）分别为5.01/6.97、5.00/6.82和3.79/5.16。

引言
抑郁症是一种常见的心理健康障碍，其特征是持续的负面情绪状态，这会显著影响个体的情绪、行为、认知和身体健康。在严重的情况下，抑郁症可能导致物质滥用和自杀倾向[1]。因此，迫切需要早期检测和及时干预[2]。然而，传统的诊断方法主要依赖于患者的自我报告[3]和临床判断，这些方法往往劳动密集且缺乏客观性。根据世界卫生组织（WHO）的数据，全球有超过3亿人患有抑郁症[4]。因此，精神科医生的数量有限可能会阻碍及时和可扩展的抑郁症评估。在这种情况下，包括基于视频的方法在内的自动化评估方法可能成为在适当的数据采集条件下支持临床评估的有希望的辅助工具。
面部外观和面部动态等视觉线索对于抑郁症识别非常有效[5],[6],[7]。随着计算机视觉技术的突破，基于面部视觉线索的智能分析模型[8],[9],[10]试图通过视频数据来评估心理健康状态。由于与抑郁症相关的线索编码在空间和时间信息中，提取时空特征对于准确识别抑郁症至关重要。一些方法[11],[12]使用3D卷积神经网络（3D-CNNs）从短视频片段中学习时空特征，但可能无法充分关注有价值的面部视觉线索。针对这一问题，现有方法[13],[14]通过注意力衍生的权重参数来突出重要的时空线索。然而，缺乏对特定动力学特征的解析可能会限制这些框架探索重要的抑郁症相关数字生物标志物的能力。此外，仅依赖短期行为模式可能是不稳定的和不充分的，因为抑郁状态会表现出时间波动，个人状态本身也是异质的。这种单一模式可能会加剧抑郁症评估的难度，甚至导致不可靠的评估结果。因此，为了捕捉持续的抑郁状态，长期上下文建模是必要的[15],[16]。
研究表明[17],[18],[19],[20]，捕捉长期模式有助于形成更稳健和有区分力的抑郁症表征。然而，充分捕捉和利用长期信息仍然是一个值得研究的挑战。对于长序列，扩大时间感受野是必要的，但这通常会以显著增加的时空成本为代价。一种常见的策略是从视频序列中稀疏采样帧以提取广泛的时间内容。虽然这种策略能够以低成本捕捉长距离上下文，但它会丢失大量信息。不同地，一些方法[21],[22],[23]使用基于段的特征提取和特征聚合模块来建模长距离时间结构。这种设计通常以牺牲全局时间连贯性为代价来实现计算可行性。为了弥补上下文关联，一些方法[24],[25],[26]使用RNN/LSTM结构来学习时间依赖性。然而，这些方法仍然难以充分捕捉长距离关系，因为梯度衰减和信息稀释。最近，许多研究[16],[27],[28],[29]探索了基于Transformer和图的框架来捕捉一般基于视频的任务中的长距离依赖性，并取得了良好的性能。然而，当应用于基于视频的抑郁症评估时，这些方法往往忽略了反映随时间变化的细微但至关重要的时空信息，这可能是由于全局交互中的注意力分散或在图传播过程中的过度平滑效应造成的。此外，它们在建模与抑郁状态有效相关的行为动态的任务特定关系方面也常常遇到困难。
本研究提出了一个名为“Long–short Behavioral Evolution for Depression”（LS-BED）的框架，该框架在抑郁相关的面部锚点的指导下捕捉关键细节和扩展的上下文演变，使模型能够学习反映时间进程和抑郁状态的行为模式。具体来说，本研究构建了一个短期动态增强器（SDB），它量化了短期波动的瞬时变化和整体强度，以关注短暂的运动和固有的运动倾向，从而有效地增强了抑郁症特征的捕捉。然后，本研究设计了一个长期演化时间线（LET）模块，该模块识别面部锚点，即捕捉面部表情关键转变的代表性帧，并丰富它们的时间背景。通过关注这些关键转变，该模块有效地模拟了抑郁行为的长期演变，同时保留了关键的局部动态，从而为抑郁症评估提供了稳健的时间指导。最后，开发了一个双阶段协同融合（DCF）模块，通过跨尺度特征交互和多尺度时间关系聚合来优化整体的区分性表征。在AVEC2013、AVEC2014和DAIC-WOZ数据集上的实验结果表明，LS-BED实现了对抑郁症相关行为模式的稳健建模，并在自动抑郁症识别方面取得了显著的性能。

主要贡献总结如下：
• 本研究构建了一个SDB模块，该模块明确关注瞬时动态和累积强度，提高了模型对细微面部变化的敏感性，并突出了重要特征反应。
• 本文设计了一个LET模块，通过面部锚点选择和基于锚点的吸收机制形成长期演变，保留了关键细节，并有助于理解长期抑郁模式。
• 本研究引入了一种DCF策略，它整合了长短期双向交互和多尺度时间聚合，实现了反映抑郁相关行为模式的短期和长期依赖性的协同建模。
• 在AVEC2013、AVEC2014和DAIC-WOZ数据集上的广泛实验证明了所提出方法的有效性。更重要的是，该方法在这些数据集上实现了最先进的实验性能。

相关工作
在本节中，首先提供了基于视频的自动抑郁症评估的概述（在第2.1节中解释）。然后列出了一些关于短期特征增强（在第2.2节中解释）的相关研究。最后，本文回顾并分析了与长期特征聚合相关的方法（在第2.3节中解释）。

方法
在本节中，本研究详细阐述了LS-BED框架，该框架通过从视频数据中学习长短期模式来自动预测抑郁症水平。对于每个原始视频，依次执行视频帧采样、面部检测和裁剪以及增强等预处理操作，以获得视频帧序列。然后该序列作为输入，用于LS-BED方法来预测抑郁分数。

实验
本文进行了广泛的实验评估，以验证所提出方法的有效性。第4.1节介绍了模型在三个公共数据集上的性能。第4.2节详细说明了实验设置和配置。第4.3节进行了消融研究，以分析各个模型组件的贡献。然后，第4.4节将性能与其他最先进的方法进行了比较。最后，第4.5节的可视化分析提供了进一步的见解。

结论
所提出的LS-BED网络实现了短期动态增强，并设计了长期演化叙事，共同促进了长短期抑郁症建模。具体来说，该方法包括三个核心组件：SDB、LET和DCF模块。SDB关注基于运动的激发特征，以增强短期时空表征。LET从长期视频序列中提取重要的面部锚点，并吸收上下文细节以构建CRediT作者贡献声明
谢万清：写作——审阅与编辑、监督、资源管理、项目行政、形式分析、概念化。
朱瑶楠：写作——审阅与编辑、写作——原始草稿、可视化、验证、软件、方法论、调查。
林永祺：写作——审阅与编辑、可视化、调查。
何小园：可视化、验证。
张宝亮：写作——审阅与编辑、数据管理。
王彦忠：写作——审阅与编辑。
刘小峰：写作——审阅

利益冲突声明
作者声明他们没有已知的会影响到本文报告工作的竞争性财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金青年科学基金管理的项目62306012的支持；部分得到了安徽医科大学博士项目研究基金的支持，项目编号分别为1401020201、1401038201和1401046201；此外，还得到了IHM新安医学与传统医学现代化中心的研究基金的支持，项目编号为2024CXMMTCM003。