在异常样本匮乏的情况下，一种新的半监督视频异常检测方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：A New Semi-Supervised Video Anomaly Detection Baseline in Lack of Anomalous Samples

针对开放集视频异常检测中样本稀缺问题，提出基于零样本大模型的半监督方法。通过大语言模型生成视频文本描述并提取多模态特征，利用无监督学习确定正常样本分布中心，显著减少对异常样本的需求。构建首个包含完整异常事件的半监督数据集VAD-SelfSup。

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

视频异常检测（VAD）因其在该领域的广泛应用而受到广泛研究。最近，提出了许多基于弱监督的学习方法（WS-VAD），这些方法倾向于将 VAD 视为分类任务，并通过多实例学习来进行处理，这需要收集足够的异常类别和样本来训练分类器。然而，在实际应用中，异常事件往往是开放集且稀少的，因此我们经常难以收集到所有异常类别和足够的异常样本，这对 WS-VAD 来说是一个挑战。为此，我们考虑将 VAD 视为一种分布外检测任务，而非分类任务，并提出了一种简单但有效的半监督基线方法。首先，我们利用大型视觉语言模型的强大零样本能力为视频生成摘要文本描述，并提取视觉特征作为后续处理的中间结果。接下来，我们使用文本编码器提取语言特征，并将其与视觉特征结合，以获得鲁棒的多模态特征。最后，我们引入了一种分布外检测方法，该方法从正常样本和未标记样本中学习多模态空间的“正常中心”，并将异常样本从该中心偏离，以应对异常样本的稀缺性。为了实现我们的基线方法，我们还通过重新组织现有的基准数据集提供了一个新的半监督数据集，这是 VAD 领域中首个提供包含完整异常事件的修剪视频的数据集。实验表明，当收集到的异常类别和样本较少时，我们的方法表现更为稳健。

AI 摘要

AI 生成的摘要（实验结果）

此摘要是由自动化工具生成的，并非由文章作者撰写或审核的。它旨在帮助读者发现研究价值、评估文章的相关性，并协助来自相关研究领域的读者理解文章内容。它是对作者提供的摘要的补充，作者提供的摘要仍是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由 AI 生成的通俗语言摘要，您必须具有高级访问权限。