OPa-Ma：基于文本引导的Mamba算法，用于生成360度图像的后期处理（out-painting）

《Pattern Recognition》：OPa-Ma: Text guided Mamba for 360-degree image out-painting

　　

高鹏雷|姚凯|叶天迪|王Steven Z.|姚远|王晓峰

• •
  我们设计了一种视觉-文本一致性优化器（VCR），在文本指导和图像指导的输入下生成更好的条件上下文。该条件上下文是通过将修改后的图像特征和文本特征进行加权求和得到的，其中使用了堆叠的1D Mamba模块来实现一致性优化。
• •
  我们开发了一种全局-局部Mamba适配器（GMA），用于提取全局和局部特征，并利用Mamba的选择性状态空间特性来连接多方向NFoV图像之间的信息流。局部特征是基于从多方向NFoV图像中提取的全局状态表示来捕获的。
• •
  广泛的实验表明，我们的方法在室内和室外环境下的两个广泛认可的360度图像数据集上取得了先进的性能，证明了其优越性。