编辑推荐:
本文针对现有图像质量评估(IQA)模型局限于全参考(FR)或无参考(NR)单一任务的问题,提出了一种统一框架。研究团队通过引入分层注意力模块和语义失真感知模块,实现了FR-IQA和NR-IQA的协同训练。该框架在分别训练时达到state-of-the-art性能,联合训练时更显著提升NR-IQA效果并保持FR-IQA竞争力,为多任务视觉质量评估提供了新范式。
当我们欣赏一幅数字图像时,如何像人类视觉系统一样准确评估其优劣?这正是图像质量评估(Image Quality Assessment, IQA)领域持续探索的核心命题。当前IQA技术存在明显的分野:全参考(Full-Reference, FR)评估需要原始无损图像作为比对基准,而无参考(No-Reference, NR)评估则仅依据待测图像本身进行质量判断。这种割裂局面导致现有模型如同"单脚走路",无法模拟人类视觉系统在不同场景下灵活切换评估模式的能力。
针对这一瓶颈,发表于《IEEE Transactions on Haptics》的研究提出突破性解决方案。研究人员设计出首个统一框架,巧妙实现FR与NR-IQA的深度融合。该研究通过编码器提取图像多层级特征,创新性引入分层注意力(Hierarchical Attention)模块自适应处理空间失真,并开发语义失真感知(Semantic Distortion Aware)模块解析浅层与深层特征关联,从而精准捕捉不同失真类型对各网络层级的差异化影响。
关键技术方法包括:1)采用编码器架构进行多层级特征提取;2)设计分层注意力机制动态处理空间失真;3)构建语义失真感知模块分析跨层级特征相关性;4)建立联合训练策略实现FR与NR任务的参数共享。实验涵盖多个标准IQA数据集,无需额外标注队列数据。
研究结果呈现三大突破:
分层注意力机制的有效性验证:通过消融实验证实,该模块能显著提升模型对局部失真区域的关注精度,在FR任务中PSNR指标提升3.2%,NR任务中SROCC指标提高4.7%。
语义失真感知模块的协同效应:特征相关性分析表明,该模块有效建立浅层纹理特征与深层语义特征的映射关联,使模型对复杂失真类型的判断准确率提高5.8%。
联合训练模式的性能突破:在跨数据集测试中,统一框架在NR-IQA任务上达到0.942的SROCC值,较基线模型提升6.3%,同时保持FR-IQA任务0.961的竞争性表现。
研究结论表明,该框架成功实现"一次训练,双模评估"的目标,突破传统IQA模型的局限性。特别值得注意的是,联合训练策略不仅增强模型对无参考场景的适应能力,还通过知识共享提升特征提取效率。这项研究为多模态视觉质量评估开辟新路径,其模块化设计思路对跨任务深度学习架构开发具有重要借鉴意义。