一种数据融合方法：利用视觉变换器从红外数据中合成热带气旋的微波图像

《Information Fusion》：A Data Fusion Approach to Synthesize Microwave Imagery of Tropical Cyclones from Infrared Data using Vision Transformers

本研究提出一种基于多传感器数据融合的深度学习方法，利用高时空分辨率的热带气旋红外图像生成合成微波图像，解决数据稀缺问题。通过Vision Transformer架构和相位物理引导机制，构建TCIR2MW数据集，实验验证了该方法在快速准确提取热带气旋关键特征方面的有效性，为灾害预测提供新工具。

　　

Fan Meng|Tao Song|Xianxuan Lin|Kunlin Yang

南京信息科技大学，中国南京，210044

摘要

具有高时空分辨率的微波图像对于观测和预测热带气旋（TCs）至关重要，包括TC的位置确定、强度估计以及同心眼壁的检测。然而，由于卫星数量和轨道的限制，热带气旋微波（TCMW）图像的时间分辨率受到限制，这给TC灾害预报带来了挑战。本研究提出了一种多传感器数据融合方法，利用高时间分辨率的热带气旋红外（TCIR）图像生成合成TCMW图像，从而解决了数据稀缺的问题。特别是，我们引入了一种基于视觉Transformer（TCA-ViT）的深度学习网络，将TCIR图像转换为TCMW图像。这可以被视为一种合成数据生成的方式，增强了决策所需的信息。我们在训练过程中整合了基于相位的物理引导机制。此外，我们还开发了一个TC红外到微波图像转换（TCIR2MW）的数据集，用于训练和测试模型。实验结果表明，该方法能够快速准确地提取TC的关键特征。通过利用掩码学习和迁移学习等技术，该方法通过从红外图像生成微波图像来弥补TCMW图像的缺失，从而辅助下游任务，如TC强度和降水预报。本研究为TC图像研究领域引入了一种新的方法，有望推动该领域的深度学习发展，并为全球TC的实时观测和预测提供重要见解。我们的源代码和数据可在线公开获取，地址为：https://github.com/kleenY/TCIR2MW。

章节片段

引言与动机

热带气旋（TCs），通常被称为台风或飓风，是主要发生在热带和亚热带海洋地区的强大自然气象事件[1]。TC的形成依赖于温暖的海面温度、广泛的对流以及由地球自转和大气环流的科里奥利效应引起的低压中心旋转[2]。与TC相关的强风、暴雨和风暴潮

遥感图像的图像到图像转换

图像到图像转换是计算机视觉中的一个关键研究领域，在地理信息科学中的应用日益增多，旨在提高地球观测数据在环境监测和资源管理中的实用性。其目标是将一张图像转换为另一张图像，包括将灰度照片转换为彩色图像、改变图像风格或在不同传感器之间转换图像等任务。2015年，图像到图像转换领域

研究数据初步

在本研究中，我们以美国国家海洋和大气管理局（NOAA）提供的公开HURSAT数据集为基础。通过一系列细致的过程，包括详细的数据提取、严格的数据清洗、有效的数据增强和精确的数据对齐，我们成功构建了TCIR2MW数据集。该数据集专门用于将热带气旋（TC）红外图像转换为微波图像

实验设置和评估指标

为了更好地评估模型的性能，我们选择了80%的数据用于训练，10%用于验证，剩余的10%用于测试。在模型训练过程中，我们对数据集应用了数据增强技术，包括旋转和翻转。值得注意的是，我们处理的数据与标准图像数据有显著不同。传统图像数据的范围是0到255的整数，而我们的数据范围是0到350的小数。因此，在

结论

在这项研究中，我们引入了一种基于ViT架构并结合了物理引导的深度学习网络TCA-ViT。我们的网络被设计为一种多传感器数据融合技术，用于从TC红外图像生成合成微波图像。我们还为此目的创建了TCIR2MW数据集。这种方法直接解决了极轨微波传感器固有的数据稀缺和时间分辨率低的问题。经过一系列的消融实验

CRediT作者贡献声明

Fan Meng：软件开发。Tao Song：形式分析、数据整理。Xianxuan Lin：写作——审稿与编辑。Kunlin Yang：资源获取、调查、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。