编辑推荐：
纳米无人机群通过LED闪烁实现低功耗可见光通信，采用全卷积神经网络（FCNN）解码LED状态并定位发送方，在GAP8 SoC上以101毫瓦功耗达到93%的通信准确率，支持2.8-8.6比特/秒吞吐量。
卢卡·克鲁皮（Luca Crupi）|尼古拉斯·卡洛蒂（Nicholas Carlotti）|亚历山德罗·朱斯蒂（Alessandro Giusti）|达尼埃莱·帕洛西（Daniele Palossi）
瑞士卢加诺Dalle Molle人工智能研究所（SUPSI）
摘要
我们提出了一种新型的可见光通信（VLC）系统，该系统使一群口袋大小的纳米无人机能够通过发光二极管（LED）的闪烁来交换信息，就像萤火虫一样。当纳米无人机通过LED闪烁发送信息时，接收器仅使用低分辨率摄像头和一个超低功耗的GreenWaves应用处理器8（GAP8）片上系统，运行一个紧凑型（7500参数）的全卷积神经网络（FCNN），实现了0.87的曲线下面积（比之前的纳米无人机VLC工作提高了0.27），并可以预测LED的状态和发送纳米无人机的图像位置。然后，LED状态（开/关）的流被连续输入到一个无需同步的解码器中，该解码器也安装在纳米无人机上。我们的方法仅利用了廉价的机载硬件（摄像头和LED），就能够与为大型无人机设计的先进VLC方法相媲美，同时功耗降低了几个数量级（10毫瓦，而之前的系统功耗超过25瓦）。通过使用一对Crazyflie纳米无人机，我们的FCNN可以达到每秒39帧的传输速率，从而实现每秒2.8到8.6比特的吞吐量，每比特准确率为93％；或者每秒0.6到1.6比特的吞吐量，每比特准确率为99.8％。最后，我们的闭环系统已在实地进行了实验验证，其中两个完全自主的纳米无人机通过我们的VLC技术交换信息，并且能够根据预测的图像位置相互跟随。
引言
自主无人机群非常适合需要可扩展性、适应性和效率的应用（Alqudsi和Makaraci，2025年）。通过协作，这些无人机可以快速覆盖大面积区域，并执行复杂的任务，如搜索和救援任务（Meshcheryakov等人，2019年）、环境监测（Saffre等人，2024年）以及农业调查（Rajagopal等人，2024年）。在狭小空间和安全的人机交互方面（Crupi等人，2023年），直径小于10厘米、重量低于50克的微型自主无人机由于其无害的超紧凑外形而具有显著优势（Lamberti等人，2023年）。虽然纳米无人机的价格比大型多旋翼无人机便宜一个数量级，但它们的微小尺寸限制了机载资源，如传感器（例如低分辨率摄像头）、计算能力（例如低于100毫瓦的微控制器单元（MCU）和内存（仅几十MB）。尽管存在这些限制，当纳米无人机以群体形式运行时（Wahba和H?nig，2024年；Friess等人，2024年），可靠的点对点通信和相互定位对于实现有效协作至关重要（Pourjabar等人，2023年）。
受到生物现象的启发，例如萤火虫的生物发光（Carlson和Copeland，1985年）、猫的头部运动（Deputte等人，2021年）、蜜蜂的运动（Gould，1974年）以及大象的身体信号传递（Rosenthal和Ryan，2000年），我们提出了一种基于深度学习、无需基础设施的可见光通信（VLC）系统，用于低带宽信息交换。我们将这种通用的VLC系统应用于一对资源受限的纳米无人机上，其中发送者无人机通过闪烁LED来广播信息，如图1-A所示。同时，接收者无人机配备了一个低分辨率摄像头（图1-B）和一个超低功耗的GWT GAP8片上系统（SoC），处理每张输入图像以预测LED的状态（开/关）。这种处理由一个小型全卷积神经网络（FCNN）完成（Crupi等人，2024年），产生的状态序列被连续输入到一个无需同步的解码器中。FCNN和解码器在纳米无人机上的GAP8上实时交替执行。
给定一个输入图像，我们的FCNN生成两个低分辨率（20 × 20像素）的输出映射。第一个映射编码输入图像中包含纳米无人机的概率，第二个映射中的相应像素编码无人机LED处于开启状态的概率。我们提出了两种不同的FCNN架构，即FCNN-small和FCNN-large，并评估了它们在回归性能与计算/内存成本之间的权衡。我们的解码器根据自定义协议处理LED状态预测的时间序列，可靠地识别消息的头部（即新消息的开始）以及我们想要交换的实际数据（即有效载荷）。因此，在这项工作中，我们贡献了：（i）两种FCNN的设计、训练、测试和评估；（ii）一个包含基于神经网络的感知模块和我们的VLC解码器的闭环流程的实现，两者都在GAP8 SoC上运行；（iii）在实际数据和系统参数设计（例如LED闪烁周期）上的接收者操作特性曲线下面积（AUC）与吞吐量之间的权衡；（iv）使用两个自主纳米无人机进行的现场实验评估（如补充视频所示）。
在我们的自定义30k测试集上进行测试时，我们的模型在二进制LED分类任务中实现了0.87的AUC。它可以在GAP8 SoC上以仅101毫瓦的功耗运行，吞吐量从每秒2.8到8.6比特，每比特准确率为93％；或者每秒0.6到1.6比特，每比特准确率为99.8％。与现有的纳米无人机VLC技术（Ciani等人，2023年）相比，我们的工作在AUC二进制分类性能上提高了27％，在神经网络吞吐量上提高了30％。最终，我们的工作仅依赖于超低功耗的计算单元，并使用机器人上常见的电子设备（如廉价摄像头和LED），实现了可靠的VLC。我们的系统代表了一种新的通信方式，可以补充现有的通信方式（如WiFi/蓝牙无线电），可用于实现复杂的应用（例如双因素认证（Wang和Wang，2018年），并在无线电通道不可用时作为低带宽的紧急通信通道。
章节摘录
可见光通信
可见光通信（VLC）是一种利用可见光谱作为媒介的设备间通信技术（Teixeira等人，2022年）。发送设备对数据包进行编码并通过发射调制光信号来传输，接收设备通过光电二极管（Vu?i?等人，2011年；Vu?i?等人，2009年）或摄像头（Yoshino等人，2008年）捕获这些信号。VLC允许无线短距离视距通信，通常可以通过廉价设备实现
机器人平台
在这项工作中，我们使用了两个Crazyflie 2.1纳米无人机，如图2所示，其中一个作为接收器，另一个作为发送器，如图1-A所示。该平台配备了STM32F4微控制器，用于低级飞行控制，以及四个LED，我们将其用作VLC任务的发射器（全部LED均处于开/关状态）。此外，纳米无人机还配备了Nordic NRF51微控制器，负责系统的电源管理，并提供了蓝牙低能耗（BTLE）无线电，用于与远程设备进行低带宽通信
全卷积神经网络
为了开发视觉通信流程，我们使用LED作为发送器（发送无人机），并在接收无人机中通过处理由机载摄像头捕获的图像来解码这些信号。在接收纳米无人机上，我们执行一个全卷积神经网络（FCNN）（Crupi等人，2024年），从图像流中提取LED的状态（全部开/关）。为了正确分类图像中的LED状态，首先需要确定发送纳米无人机在摄像头视野中的位置。图3展示了我们的
LED状态分类和消息吞吐量
我们使用AUC来评估我们的FCNN的LED状态分类性能，测试数据集包含30k个样本。AUC的范围是从0.5到1，其中1表示完美的预测器，而0.5表示随机分类器。我们评估了FCNN-large和FCNN-small的性能，分别使用了重心提取和argmax提取方法，并将它们与Ciani等人（2023年）提出的SoA CNN基线进行了比较
结论
本文介绍了一种新型的VLC系统，该系统仅通过低分辨率摄像头为FCNN提供输入，利用LED的闪烁实现自主纳米无人机之间的可靠短距离和低带宽信息交换。在评估了两种基于图像的FCNN在LED开/关状态分类性能后，我们将较小的FCNN部署在一个商用纳米无人机上，该无人机配备了GWT GAP8 SoC。LED状态预测结果随后被输入到一个无需同步的纠错解码器中
CRediT作者贡献声明
卢卡·克鲁皮（Luca Crupi）：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，资源，方法论，概念化。尼古拉斯·卡洛蒂（Nicholas Carlotti）：撰写 – 审稿与编辑，撰写 – 原始草稿。亚历山德罗·朱斯蒂（Alessandro Giusti）：撰写 – 审稿与编辑，撰写 – 原始草稿，监督，软件，项目管理，方法论，资金获取，概念化。达尼埃莱·帕洛西（Daniele Palossi）：撰写 – 审稿与编辑，撰写 – 原始草稿，
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
