基于流形正则化的草图图像描述跨域自适应方法

《Displays》：Domain Adaptation via Manifold Regularization for Sketch Image Caption

本文提出了一种创新的流形正则化域自适应框架，解决了草图图像描述（sketch image caption）领域缺乏配对标注数据的核心挑战。通过构建域不变几何结构和动态平衡跨模态（cross-modal）与跨域（cross-domain）学习的非线性权重策略，该研究成功地将自然图像（natural image）的标签知识迁移至草图域，为心理诊断绘画分析等医学应用提供了新工具。

　　

亮点

• 提出基于流形正则化的草图图像描述域自适应框架，无需配对草图-描述数据即可生成草图描述。

• 通过构建域不变几何结构缓解自然图像与草图域间的分布差异，并采用三种不同架构的映射网络连接预训练的编码器-解码器，实现视觉特征到文本语义的跨模态映射。

• 引入时变非线性正则化权重以平衡跨模态与跨域学习，定性与定量评估结果验证了方法的有效性。

图像描述

自图像描述技术提出以来，主流研究方向仍集中于监督式图像描述（supervised image caption）。这些模型利用图像-描述配对数据，训练目标是基于输入图像最大化生成真实描述的概率。Li等人提出动态窗口采样策略以提升文本描述质量；Hossen等人结合深度注意力机制与语义引导模块进行优化。

问题定义

假设两域样本数据均来源于m维特征空间x∈R^m，但服从不同的边缘概率分布，即P_S(x)≠P_T(x)。源域D_S中包含n_S个带标签样本，其样本矩阵X_S∈R^m×n_S，对应文本描述标签矩阵为Y_S；目标域D_T则包含n_T个无标签样本，样本矩阵为X_T∈R^m×n_T。

数据集与实验设置

源域采用Flickr30k-CNA数据集，包含31,783张自然图像，每图配有五条人工标注的中文描述。目标域使用团队收集的未标注房树人测验（HTP）手绘草图数据集，包含来自大学心理测试中心的3000余张测试绘画。实验利用未标注HTP草图数据集与源域数据进行跨域适配。

结论

我们提出了一种基于流形正则化的域自适应框架，以解决无配对草图-描述数据时的草图图像描述难题。该方法通过图拉普拉斯正则化构建域不变几何结构，有效弥合自然图像与草图间的域差异，并采用非线性权重调整策略动态平衡跨模态对齐与域自适应。在合成与真实数据集上的实验结果验证了方法的优越性。