DeBERTa-BiLSTM：一种用于抑郁情绪的多标签分类模型

《Cognitive Neurodynamics》：DeBERTa-BiLSTM: a multi-label classification model for depression emotions

多标签抑郁情绪分类面临多种挑战，本文基于DepressionEmo数据集提出DeBERTa-BiLSTM架构，融合自注意力机制和双向LSTM层，在F1-Micro达0.83、Jaccard指数0.71上显著优于基线模型。该架构有效捕捉长程抑郁语境依赖，但存在计算成本较高、数据量不足等问题，需进一步验证。

　　

摘要

多标签抑郁情绪分类仍然具有挑战性，这主要是由于多种与心理健康相关的情绪同时出现、隐性的语言表达、长距离的上下文依赖性，以及主动和被动抑郁信号的存在。本文利用DepressionEmo数据集对多标签抑郁情绪检测进行了全面研究，该数据集包含了标注有八种临床相关抑郁情绪的文本实例：愤怒、认知功能障碍、空虚感、绝望、孤独、悲伤、自杀意图和无价值感。目标是开发一个高效且计算成本低的多标签分类框架，能够准确识别文本中的显性主动抑郁情绪和潜在的被动抑郁情绪。为了解决这个问题，评估了多种基于Transformer的架构和混合架构，包括BERT、RoBERTa、DistilBERT、T5、BART以及集成BiLSTM的DeBERTa，还有seq2seq BART和seq2seq RoBERTa–BART模型。所提出的DeBERTa–BiLSTM架构结合了解耦的自注意力机制以实现丰富的上下文表示，同时利用BiLSTM层进行序列依赖性学习和历史状态融合，从而有效建模长距离的抑郁线索。实验结果表明，DeBERTa–BiLSTM模型在性能上始终优于基线模型seq2seq BART、BERT、T5、GAN-BERT以及所有其他开发的变体，其F1-Micro得分达到0.83，F1-Macro得分达到0.80，汉明损失（Hamming Loss）最低（0.15），杰卡德指数（Jaccard Index）最高（0.71）。该模型还实现了0.81的微精度（micro-precision）和0.85的微召回率（micro-recall），表明其对常见和少数情绪标签的检测都非常准确。运行时分析显示，该模型具有显著的推理效率，在批量大小为4时每样本的推理时间减少了26.32%，在批量大小为32时减少了21.39%，相比seq2seq BART有明显提升。尽管具有这些优势，该模型在计算资源消耗上仍高于轻量级Transformer模型，并且受到数据集规模较小的影响，还需要在更广泛的心理健康领域进行进一步验证。