TIER-CNet：一种结合热传递语义的生成对抗网络，用于红外图像清晰化与温度场预测

《Knowledge-Based Systems》：TIER-CNet: Generative Adversarial Networks Fusing Heat Transfer Semantics for Infrared Image Clarification and Temperature Field Prediction

红外图像增强与热力学约束的生成对抗网络研究，提出TIER-CNet模型，通过改进CvT架构和熵减模块融合视觉语义与热力学原理，在CFD数据集验证下SSIM达0.994，PSNR达40.84，有效解决低分辨率红外图像的物理一致性增强问题。

　　

王婷|陈景成|韩宇格|任登峰

南京理工大学能源与动力工程学院，中国江苏省南京市玄武区小灵威街200号

摘要

为了解决红外遥感图像分辨率不足以及现有温度场预测方法存在的缺陷，我们提出了一种新颖的生成对抗网络——温度图像熵减少清晰网络（TIER-CNet），该网络结合了视觉语义和热传递动力学来增强红外图像。该网络采用改进的卷积到视觉变换器（CvT）来捕获多尺度热传递特征，并引入了受热力学原理启发的熵减少模块（ERM），以将像素信息与温度场的物理属性统一起来。通过将从热传递特征中提取的中间隐式特征与显式气象参数融合，模型能够确保与真实物理情况的一致性。TIER-CNet在通过计算流体动力学（CFD）模拟生成的数据集上进行了验证。在定量指标方面，该模型的结构相似性指数（SSIM）达到了0.994，峰值信噪比（PSNR）达到了40.84，显著优于传统方法以及ESRGAN和CMAGAN等模型。通过将信息熵减少过程与热力学原理对齐，TIER-CNet能够从单个低分辨率输入（25×25）重建出高分辨率（512×512）的清晰图像，并同时输出相应的温度尺度和气象参数。这种方法在提高红外图像清晰度的同时，提供了丰富的、物理上一致的温度细节。

引言

在现代战场环境中，不断变化的战斗局势对传统侦察方法在情报获取的及时性、准确性和全面性方面提出了严峻挑战。尽管空中侦察能够提供远程、大范围和全天候的探测能力，但其红外成像分辨率有限，难以精确检测小型或隐蔽目标[[1], [2]]。特别是对于红外遥感图像，目前的高精度分辨率仅约为3米，这使得有效观察战场目标变得特别困难。因此，提高红外遥感的实时检测精度是提高战场情报获取效率的关键。

传统的红外图像增强和温度场预测方法在重建红外图像时容易丢失热特征细节，并忽略了像素值背后的热力学物理意义，从而无法确保重建温度场的物理真实性。近年来，计算机视觉技术和神经网络发展迅速，特别是在温度信息扩展[[3], [4], [5]]、智能图像预测[[6], [7], [8], [9]]以及图像清晰度研究[[10], [11], [12], [13]]方面。这些发展为空间智能监控提供了坚实的技术支持，并在处理复杂视觉数据以进行准确预测方面显示出独特优势。例如，Jing等人提出的物理引导神经网络框架（PGF-NN）和Zhao等人研究的物理信息卷积网络[15]都展示了整合物理定律以提高温度场预测精度的巨大潜力。

目前的温度场预测算法主要作为计算流体动力学（CFD）前向预测算法的智能替代方案。它们的应用通常限于对特定静态场景或目标的温度图像进行准确预测，并且对这些算法的输入条件有较高要求，需要足够的参数信息支持[16]。然而，战场环境的复杂性和目标类型的多样性使得获取完整参数信息变得困难。这一限制对红外遥感图像清晰化任务构成了重大挑战。为了解决信息稀缺的问题，研究人员采用了结合红外数据和可见光数据的方法，即RGB-T特征融合。这种融合技术利用热信息和视觉信息的互补性来提高检测精度。例如，Ma等人[17]提出了一种基于GAN的红外和可见光图像融合方法FusionGAN，该方法在保留红外图像的热辐射信息的同时增强了可见图像的纹理细节，生成的融合图像在目标突出和细节丰富性方面优于传统方法。Yi等人[18]提出了一种用于双光谱（RGB-T）无人机图像的交互式融合注意力引导网络（IFAGNet）。该方法利用两阶段特征融合模块和混合一致性学习策略，实现了红外热信息与可见光纹理特征之间的有效交互和互补，在涉及复杂边界目标（如地表地热流体）的分割任务中表现出显著优势。然而，这类融合方法的性能严重依赖于输入红外图像的质量。低分辨率或模糊的热数据会严重影响特征融合的效果；因此，获得更清晰的红外图像仍然是一个亟待解决的问题。最新的研究进展利用生成对抗网络（GAN）引入了图像超分辨率方法，创建了非合作的目标红外辐射特征模型，并将GAN技术应用于复杂温度场的预测，为解决图像锐化问题提供了重要的理论和技术支持。作为一种数据驱动的方法，GAN直接从原始数据中学习非线性映射，无需依赖复杂的物理方程。这种方法降低了计算成本，并实现了复杂物理现象的实时预测。与倾向于平滑图像的传统卷积神经网络（CNN）不同，GAN利用对抗过程恢复高频细节。这种机制生成了适合红外图像超分辨率的真实纹理。沿着这一方向，Bagavathi等人[19]结合了GAN和强化学习技术，通过在鉴别器中引入RL代理来最大化鉴别器区分真实图像和生成图像的能力，从而生成高质量的超分辨率图像。Chen等人[20]提出了一种条件多注意力生成对抗网络（CMAGAN），通过引入条件多注意力模块来捕捉不同区域之间的远距离温度依赖性，并设计了一个改进的多尺度鉴别器来提高温度预测的准确性。尽管在这一领域取得了实质性进展，但仍存在几个关键限制。首先，传统算法，尤其是那些依赖标准卷积网络（CNN）的算法，在提取热传递特征方面存在不足，尤其是在数据稀缺或退化的遥感场景中。这种不足源于CNN固有的局部感受野，它们往往无法捕捉到复杂的、远距离的热现象——例如由太阳辐射加载引起的非均匀温度分布或来自地表的微妙热反射——这些对于准确预测至关重要。其次，现有方法对控制温度场的物理属性的概念理解有限。温度作为一种物理量，遵循明确的热力学定律演变。然而，大多数现有模型仍然主要依赖于像素级信息进行重建，很大程度上忽视了这些潜在的物理约束。这种忽视常常导致预测结果出现物理上不可信的伪影，并偏离真实的热行为[20]。最关键的是，计算机视觉语义（即像素强度值）与热力学语义（即物理温度）之间存在根本差异。网络模型难以协调像素的视觉表示与温度场的本质物理意义。这种视觉表示与物理现实之间的语义差距严重限制了算法性能的进一步提升。

为了解决这些挑战，我们提出了一种名为温度图像熵减少清晰网络（TIER-CNet）的新型生成对抗网络，该网络结合了视觉语义和热传递语义，以实现红外图像的准确清晰化。具体来说，我们通过引入改进的卷积到视觉变换器（CvT）架构作为低分辨率（LR）红外图像的特征提取结构，有效提取了嵌入在图像中的热信息，从而增强了网络的泛化能力。此外，我们通过设计一个新的熵减少模块（ERM）来解决计算机视觉语义和热传递语义之间的不一致性问题。该模块基于信息熵减少实现了从模糊温度场到精细温度场的热力学熵减少过程的表示。此外，ERM模块结合了对温度场的局部和全局分析，使其能够更深入地探索其物理属性，并解决了网络对这些属性缺乏深入了解的问题。为了确保预测严格遵循真实世界的物理定律，我们通过将来自热传递特征的中间隐式特征与显式气象参数融合，建立了一个受物理约束的生成过程。所提出的算法以低分辨率图像作为输入，输出相应的高分辨率图像、温度尺度和气象参数。该算法不仅从热图像中提取关键信息，还生成了高质量的热图像，使其成为大规模模型和未来研究的宝贵工具。此外，这项工作还有助于提高战场情报获取的效率。

数据集片段

数据集

在我们的研究中，我们提出了一种针对陆地战场中高价值目标（坦克目标）的遥感红外图像清晰化任务的新解决方案。具体来说，我们设计了一种名为温度图像熵减少清晰网络（TIER-CNet）的生成对抗网络，旨在将基于空中侦察设备捕获的模糊坦克温度图像转换为清晰的红外图像。

TIER-CNet的网络框架

传统的卷积神经网络（CNN）通常将图像超分辨率视为纹理恢复任务，忽略了热传递的复杂多尺度特性，这包括目标边界处的尖锐局部热梯度和背景中的全局热扩散。为了解决标准CNN在捕捉这些远距离依赖性方面的局限性，我们结合了卷积到视觉变换器（CvT）架构。通过协同局部特征提取

参数选择

我们使用Adam优化器来训练生成器和鉴别器，初始学习率α设置为0.0002。这个0.0002的值在许多GAN研究中被广泛采用并证明是有效的，尤其是在使用Adam优化器时。在Adam中，β1设置为0.5，β2设置为0.999。当β1设置为0.5时，训练更加稳定。为了确保训练稳定性和实现最佳收敛，我们实施了一个分阶段的学习率衰减策略

研究结论

为了解决现代战场侦察中红外遥感图像分辨率不足的问题，以及现有温度场预测方法在热传递特征提取和理解物理属性方面的局限性，我们提出了一个TIER-CNetwork，该网络结合了视觉语义和热传递语义，能够以低分辨率图像作为输入，并输出相应的高分辨率图像、温度尺度和

未引用的参考文献

[[21], [22], [23]]

CRediT作者贡献声明

王婷：撰写——审稿与编辑，撰写——原始草案，软件，方法论，概念化。陈景成：软件，数据管理。韩宇格：验证，资源，项目管理。任登峰：形式分析，数据管理。

利益冲突声明

作者声明没有利益冲突。