基于多模态学习的无人机系统设计，采用FPGA实现空气污染检测功能

《Computers and Electrical Engineering》：Multimodal learning-based unmanned aerial vehicle system design on FPGA for air pollution detection

本研究提出基于FPGA的多模态无人机系统，集成高光谱成像与传感器数据，实现AQI实时分类，精度达88.29%，较传统方案提速4.04倍并节能2.66倍。

　　

黄春贤|陈文通|陈春源|张义春|蔡凯辰

台湾国立彰化教育大学电气工程系

摘要

为了精确检测空气污染源，本研究利用无人机（UAV）与空气质量监测站协同工作。所提出的UAV系统以FPGA作为核心计算平台，这与仅依赖微处理器或集成GPU的设计不同，后者难以满足实时处理需求。我们提出了一种多模态模型，结合传感器数据和高光谱成像（HSI）数据来进行空气质量指数（AQI）等级分类。在UAV系统设计中，我们引入了一种基于模糊粗糙集的HSI数据选带方法，以减少多模态模型的输入数据量，从而支持边缘人工智能（AI）推理。此外，UAV系统设计还集成了双核神经引擎，能够并行处理捕获图像中所有子区域的AQI等级分类。实验结果表明，所提出的UAV系统设计在AQI等级分类方面的准确率达到88.29%。与桌面GPU平台、基于微处理器的设计以及NVIDIA Jetson Nano等嵌入式GPU平台相比，其速度分别提升了4.04倍、59.1倍和7.63倍。

引言

在智慧城市中，空气质量监测至关重要，因为颗粒物（例如PM2.5和PM10）会对人类健康产生不良影响，刺激眼睛、鼻子、喉咙和肺部。为了描述和报告当前的空气污染状况，国际公认的标准——空气质量指数（AQI）被广泛用于量化污染物浓度。AQI根据健康影响将空气质量分为六个等级：良好、中等、对敏感群体不健康、非常不健康和危险[1]。

为了确定每个监测区域的AQI等级，许多固定的空气质量监测站被部署在智慧城市中。这些站点主要依靠传感器来测量颗粒物浓度和气体水平，如SO2、NO2、CO和O3。然而，这些传感器的检测范围有限，导致监测覆盖不全面且维护成本高昂。当监测站检测到污染物浓度升高时，需要环境保护局等相关部门的人员前往现场并使用专业设备定位附近的污染源。这一过程往往耗时较长，等到工作人员到达时，污染源可能已经扩散。因此，加快这一过程对于准确识别污染源至关重要。

除了基于传感器的方法[2]、[3]外，基于图像的方法在空气质量监测中也逐渐受到关注[4]、[5]。随着人工智能（AI）的发展，一些研究将深度学习技术应用于空气质量估计[6]、[7]、[8]、[9]。高光谱成像（HSI）比传统的RGB成像捕获更宽的光谱范围，有助于更准确地检测颗粒物。最近深度学习（尤其是深度神经网络DNN）的进步，使得HSI在空气质量监测中的应用越来越广泛[11]、[12]。然而，HSI的数据量远大于RGB，给DNN带来了巨大的计算和能耗负担，这对资源有限的移动平台来说是一个挑战[13]。

除了固定的监测站外，基于无人机的移动传感系统作为一种替代方案应运而生[14]、[15]、[16]、[17]，为空气质量监测提供了更高的灵活性和移动性。为无人机配备摄像头进行基于图像的空气质量分析已成为一种有前景的方法[18]、[19]、[20]。因此，无人机能够实现大规模的环境监测，克服了固定传感器的检测范围限制。然而，大多数基于无人机的系统仅作为数据收集平台，需要将收集的数据传输到后端系统进行AI推理，这一过程会导致延迟，妨碍实时监测。

基于上述讨论，显然需要一种精确、高性能且节能的UAV系统设计。为实现这一理想系统，必须解决以下技术问题。

• 1. 并非所有HSI波段都能有效检测到空气污染。如何有效提取相关的HSI波段？
• 2. HSI数据结合气体和灰尘测量数据可以用来估计AQI等级。需要什么样的AI模型架构才能使AQI分类更加准确和高效？
• 3. 对于直接空气质量监测，UAV系统必须高效集成AI模型。哪种系统设计能够同时具备高性能和节能优势？

为了解决上述技术问题，我们提出了一种基于FPGA的多模态学习UAV系统（MLUS），用于空气污染检测，如图1所示。MLUS在报警信号触发下自主导航至空气质量监测站，到达后拍摄图像并将其分割成多个区域，然后将这些图像转换为HSI数据进行分析。通过结合HSI数据和捕获的传感器数据，MLUS利用多模态模型对每个区域的AQI等级进行分类，从而检测疑似空气污染源。通过将边缘AI直接集成到MLUS中，提升了实时处理和决策能力，实现了空气污染源的快速准确检测。本工作的贡献如下：

提高AI模型效率的HSI波段选择：通过将HSI波段选择与模糊粗糙集（FRS）方法相结合，选取与空气污染最相关的HSI波段进行AQI等级分类，降低了多模态模型的计算需求，实现了实时AI推理。

用于AQI等级分类的多模态学习：我们提出了一种基于卷积神经网络（CNN）和多层感知器（MLP）的多模态模型进行AQI等级分类。该模型利用了从捕获的RGB图像转换而来的HSI数据以及传感器数据，同时将光谱特征学习集成到CNN中，以支持更准确的AQI等级分类。

基于FPGA的UAV系统设计用于空气污染检测：MLUS的主要区别在于它大量使用了FPGA设备，而之前的系统主要依赖微处理器或GPU[21]、[22]。此外，MLUS集成了双核神经引擎，能够加速特定区域的空气污染源检测。这种设计选择对于满足空气污染检测任务中的边缘AI需求至关重要。

本研究基于我们之前在IEEE工业电子学会（IECON）年会上发表的研究[23]。与之前的研究不同，该研究提出了一种新的多模态模型，结合CNN和MLP来提高AQI等级分类的准确性。除了HSI数据外，还加入了传感器数据以进一步提高分类精度。此外，虽然之前的研究侧重于基于FPGA的AQI等级分类系统，但本研究将其扩展到了基于UAV的空气污染检测系统，使其更适合工业环境。

本文的其余部分安排如下：第2节介绍相关工作，第3节提供本工作的预备知识，第4节介绍所提出的多模态模型，第5节描述基于FPGA的MLUS设计，第6节介绍系统实现和评估，第7节总结本工作。

相关研究

工业区域是空气污染的主要来源，因此空气质量监测至关重要。常见的方法是使用气体和颗粒物传感器。有一种低成本的便携式传感器[2]被提出，强调了其有效性以及公民参与污染监测的优势。同样，Zulkifli等人[3]开发了一种基于无人机的空气污染监测系统，配备了MQ-135传感器来检测周围空气质量。

预备知识

在介绍所提出的多模态模型之前，以下部分将介绍两种重要技术：RGB到HSI的转换和FRS理论。

多模态学习用于AQI等级分类

先前的研究表明，可见光谱中的特征比近红外和远红外范围内的特征具有更高的检测精度。我们采用可见光高光谱成像（VIS-HSI）[12]将RGB图像转换为380–780 nm范围内的HSI表示，如第3.1节所述。除了传感器数据外，所提出的多模态模型还使用从捕获的RGB图像中获得的HSI数据作为输入。AQI等级分类包括六个等级：

MLUS设计及其操作

MLUS采用FPGA作为主要硬件平台进行AQI分类，与依赖微处理器或GPU的传统设计相比，具有更高的性能和节能效果[21]、[22]。以下部分将介绍我们的基于FPGA的MLUS设计和整体系统操作。

系统实现和评估

为了验证MLUS的实用性，我们定制了一个UAV平台来实现所提出的MLUS设计，如图10所示。该平台并非市售产品，而是专门为这项研究定制的。其规格和操作条件总结在表2中。KV260板配备了Xilinx Zynq UltraScale+ MPSoC XCZU19EG设备，作为FPGA平台来加速多模态模型。同时，使用了Pixhawk 4作为

结论

基于多模态学习的MLUS设计表现出多种优势，包括准确的AQI等级分类、高系统性能和节能效果。通过系统实现和评估的分析，我们展示了MLUS的适用性和可扩展性。在未来的工作中，我们计划将季节变化和风向等因素纳入所提出的AI模型中，以进一步提高空气污染检测的准确性。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本研究部分得到了台湾国家科学技术委员会（NSTC）的资助，项目编号为113-2634-F-194-001和113-2221-E-143-006-MY3。作者感谢国立中兴大学的王祥辰教授在RGB到HSI转换方面提供的技术支持。