《Plant Phenomics》：Thermal Image Segmentation in Weedy Fields via Synthetic RGB-Trained Models and GAN-Based Cross-Modality Alignment
编辑推荐：
厄尔·拉纳里奥（Earl Ranario）|伊斯梅尔·马亚尼亚（Ismael Mayanja）|许善宇（Heesup Yun）|布莱恩·N·贝利（Brian N. Bailey）|J·梅森·厄尔斯（J. Mason Earles）生物系统工程，加州大学戴维斯分校（Biologic
厄尔·拉纳里奥（Earl Ranario）|伊斯梅尔·马亚尼亚（Ismael Mayanja）|许善宇（Heesup Yun）|布莱恩·N·贝利（Brian N. Bailey）|J·梅森·厄尔斯（J. Mason Earles）
生物系统工程，加州大学戴维斯分校（Biological Systems Engineering, UC Davis），美国戴维斯（Davis, USA）
摘要
在热成像中实现精确的植物分割仍然是高通量田间表型分析面临的一个重大挑战，尤其是在室外环境中，植物与杂草之间的对比度低以及频繁的遮挡现象会严重影响识别效果。为了解决这一问题，我们提出了一个框架，该框架利用合成RGB图像、有限的真实标注数据以及基于GAN的跨模态对齐技术来提升热图像中的语义分割能力。我们在1,128张包含作物和杂草混合的合成图像上训练模型，以生成作物和杂草的图像分割掩膜。此外，我们还评估了在训练过程中仅集成20张真实、手动分割的田间图像所带来的效果，使用了多种采样策略进行测试。当将所有合成图像与少量标注过的真实图像结合使用时，与仅使用合成图像的基准情况相比，平均IoU分数的最大提升达到了25%。通过CycleGAN-Turbo将RGB图像转换为热图像，实现了无需校准的稳健模板匹配。实验结果表明，在复杂的田间环境中，结合合成数据、有限的手动标注以及通过生成模型进行的跨域转换能够显著提升多模型图像的分割性能。
