《Neural Networks》：TDP-DETR: Temporal Dynamics Perception Framework for Video Moment Retrieval and Highlight Detection
编辑推荐：
视频时刻检索（Video Moment Retrieval, VMR）和精彩片段检测（Highlight Detection, HD）旨在从未修剪的视频中定位与查询相关的时间片段并评估剪辑级别的显著性。准确的时间边界感知对于VMR和HD至关重要。尽管当前的模型
视频时刻检索（Video Moment Retrieval, VMR）和精彩片段检测（Highlight Detection, HD）旨在从未修剪的视频中定位与查询相关的时间片段并评估剪辑级别的显著性。准确的时间边界感知对于VMR和HD至关重要。尽管当前的模型已取得显著进展，但它们仍难以实现与具有时间动态特性的视频内容的精确动作语义对齐，并且当特定帧中的动作相关视觉语义线索出现波动时，容易产生边界感知偏差。本文提出了一种时间动态感知检测Transformer（Temporal Dynamics Perception DEtection TRansformer, TDP-DETR），该框架从两个互补的角度对动作时间动态进行建模：时间持续性（temporal persistence）和时间渐进性（temporal progression）。针对时间持续性，研究人员引入了用于动作时长感知时间建模的动态掩码策略，使模型能够从查询语义推断动作持续性，并将其作为边界预测的时间先验。针对时间渐进性，设计了一个动作状态差异感知模块，捕捉帧间动作状态变化，使模型能够感知动作渐进速度，从而改进对动作边界的预期。在三个MR/HD基准上的大量实验表明，该方法始终优于现有的最先进方法。相关代码将很快开源。
论文《TDP-DETR: Temporal Dynamics Perception Framework for Video Moment Retrieval and Highlight Detection》由Huilin An、Zefan Zhang、Shijie Jiang、Kehua Zhu和Tian Bai共同完成，发表于《Neural Networks》。该研究针对视频理解领域的两个核心任务：视频时刻检索（Video Moment Retrieval, VMR）和精彩片段检测（Highlight Detection, HD）。随着大规模视频平台的快速增长，用户面临海量的未修剪长视频内容，如何高效地进行时间理解和内容定位成为关键挑战。VMR旨在根据给定的自然语言查询识别最相关的视频时间段，而HD则侧重于评估所有视频剪辑相对于查询的显著性或相关性。近期研究倾向于采用基于DETR（DEtection TRansformer）的统一框架联合学习这两项任务，但在准确的动作边界感知上仍存在显著困难。现有方法虽然能捕捉主要的视觉动作语义，但在动作转换区域极易产生边界感知偏差。这种偏差主要源于对局部帧级语义线索的过度依赖，缺乏动作时间演变的全局理解，尤其是在动作边界帧存在固有语义模糊时，静态的视觉特征提取器会强制这些模糊帧与主导动作类别对齐，导致不稳定的边界预测。为解决这些问题，研究人员提出了TDP-DETR框架，其核心贡献在于显式地从时间持续性（temporal persistence）和时间渐进性（temporal progression）两个互补视角建模动作的时间动态特性，从而减少语义波动带来的干扰，实现更稳定的边界定位。
为实现上述目标，研究人员采用了几项关键技术方法。首先，基于动态掩码策略的动作时长感知时间建模，通过遮蔽信息丰富的区域或时间段，迫使模型从查询语义推断动作的持续性，并将其作为边界预测的时间先验。其次，设计了动作状态差异感知模块，用于捕捉帧间的动作状态变化，以此感知动作的渐进速度，辅助预判边界。该技术路线在多个基准数据集上进行了验证。
在数据集方面，研究使用了QVHighlights基准，该数据集包含10,148个来自YouTube的视频，涵盖广泛场景，每个视频配有文本查询及相应的显著时刻标注，是唯一同时支持VMR和HD的公共基准。数据分为70%训练、15%验证和15%测试。此外，还可能在其他MR/HD基准上进行了实验。
研究结果部分显示：
在Introduction中，研究人员通过分析指出当前模型在动作边界处存在感知偏差，原因在于缺乏对动作时间演变（如持续性和渐进性）的显式建模，这构成了开展本研究的动机。
在Related Work中，总结了VMR和HD任务的紧密联系及统一建模的趋势，指出现有方法在处理时间动态方面的不足。
在Problem Formulation中，明确了输入为一个包含t个剪辑的视频V和一个包含n个词的文本查询Q，输出目标为VMR的多个时刻{ci, wi}i=1m（其中ci为中心时间戳，wi为时长）以及HD的剪辑级显著性评分s ∈ Rt。
在Datasets部分，详细描述了QVHighlights的数据构成和划分比例，确保了实验数据的可靠性和可比性。
在Conclusion中，总结表明TDP-DETR通过联合捕捉时间持续性和渐进性，有效缓解了由视觉语义波动引起的边界感知偏差，增强了模型准确预判和定位动作边界的能力。
Uncited Citation部分提到了缺失引用的表格（Table 5 and 6）。
CRediT authorship contribution statement和Declaration of competing interest分别列出了作者的具体贡献声明及无利益冲突声明。
Acknowledgements部分说明了本研究得到了国家自然科学基金[62576149]和吉林大学基本科研业务费的资助。
最后，讨论与研究结论部分强调，TDP-DETR作为一种受人类动作感知启发的统一框架，通过显式建模动作时间动态，成功解决了现有方法在边界定位上的不稳定性。通过动态掩码策略推断动作持续性并结合动作状态差异感知捕捉渐进速度，该方法在多个VMR和HD基准上均取得了优于现有最先进方法的性能，验证了显式时间动态感知对于精确动作边界建模的有效性。
