《Scientific Reports》：Benchmark evaluation of video large language models in quality assessment of science popularization videos for dry eye
编辑推荐：
为应对短视频平台上健康科普内容质量参差不齐、错误信息扩散的风险，研究人员以干眼症为案例，首次系统性评测了VideoLLaMA3、QwenVL与InternVL三种视频大语言模型(VideoLLMs)对科普视频的质量评估能力。研究结果表明，除PEMAT-A/V量表的“可操作性”维度外，当前主流VideoLLMs与眼科专家评估结果的一致性普遍较差(ICC<0.40)，尚远未达到实际应用标准。这项工作为自动化评估医学视频内容构建了首个基准框架，揭示了现有模型的显著局限性，强调了进一步方法学改进的必要性。
在短视频蓬勃发展的今天，刷一刷手机就能获取各种健康知识，早已成为许多人的日常。然而，便捷的背后隐藏着风险：大量未经专业审核的科普内容充斥网络，其中可能掺杂着误导甚至错误的信息。当这些信息关乎健康，尤其是像干眼症这种常见却容易被误解的眼表疾病时，其潜在危害不容小觑。干眼症患者可能因误信不实信息而延误诊治或采用不当的自我管理方法。面对海量的视频内容，传统的人工审核方式既耗时又难以大规模推广。那么，能否借助近年来飞速发展的人工智能，特别是能够“看懂”视频内容的大语言模型，来帮助我们自动筛选出靠谱的科普视频呢？这正是发表在《Scientific Reports》上的一项研究所要探索的核心问题。
为了回答这个问题，研究团队开展了一项开创性的基准评测研究。他们构建了一个系统性的评估框架，并首次将目光投向了视频大语言模型在医学科普视频质量评估领域的应用潜力。研究的关键技术方法主要包括：首先，从抖音平台系统性地采集并构建了一个包含185个中文干眼症科普视频的数据集；其次，邀请两位眼科专家作为金标准，使用三种国际上成熟的评估工具——患者教育材料评估工具视听版、全球质量评分和视频信息与质量指数，对这些视频进行了独立、细致的人工标注与评分；最后，选取了三种具有代表性的开源视频大语言模型，让它们基于相同的评估工具对视频进行自动化评分，并通过计算组内相关系数来量化模型评分与专家评分之间的一致性程度，从而客观评价模型的性能。
主要结果
- •
模型与专家评估一致性普遍较低
研究结果显示，在所测试的三种视频大语言模型和大多数评估维度上，模型自动生成的评分与眼科专家的人工评分之间的一致性水平都很低。组内相关系数值普遍低于0.40，这表明当前模型的评估结果与专业判断存在较大差距。
- •
“可操作性”维度表现相对较好
一个值得注意的例外出现在患者教育材料评估工具视听版量表的“可操作性”维度。在此维度上，QwenVL和InternVL模型与专家评分的一致性达到了中等水平，组内相关系数分别为0.50和0.43。这表明模型在判断视频内容是否给出了清晰、可执行建议方面，展现出了一定的潜力。
- •
构建首个眼科科普视频评估基准
本研究最重要的产出之一是建立了一个开源基准框架。该框架不仅包含了高质量的人工标注数据集，还整合了标准化的评估流程与指标。这为后续研究系统性地评估、比较不同视频大语言模型在医学视频内容理解与评估任务上的行为提供了重要的参考工具。
研究结论与意义
这项研究得出了一个明确且重要的结论：尽管视频大语言模型在通用领域展现出令人瞩目的能力，但将其直接应用于要求严谨、准确的医学科普视频质量自动化评估或内容治理，目前时机尚未成熟。现有模型的表现远未达到实际可接受的水平，其与专家评估结果的一致性存在显著缺口。
这项工作的意义深远。它首次为视频大语言模型在特定医学垂直领域（眼科科普）的应用性能设立了明确的基准线，揭示了当前技术在实际医疗健康场景下面临的严峻挑战。研究没有试图证明模型的“可用性”，而是恰恰相反，它通过严谨的实证分析，清晰地划出了“不能用”的边界。这如同一面镜子，照出了现有方法与真实需求之间的差距，为人工智能、医学信息学和临床医学的跨学科研究者指明了亟待攻克的方向：如何提升模型对医学专业知识的理解深度、如何更好地处理视听多模态信息中的复杂逻辑与因果关系、如何设计更贴合医疗场景的评估范式。在人工智能日益渗透各行各业的今天，这项研究发出了一个冷静而必要的提醒：对于医疗健康这类高风险的领域，技术的引入必须格外审慎，扎实的基准评测与持续的迭代改进，是通往可靠、负责任应用的必由之路。该研究框架的开放性，也鼓励更多研究者加入，共同推动视频大语言模型在提升网络健康信息环境质量方面发挥积极、可靠的作用。
