《Computers and Electrical Engineering》：GSP-enhanced embedded hardware framework for real-time multi-class road target detection in ADAS using mmWave radar
编辑推荐：
毫米波雷达实时分类框架利用图信号处理提取空间关系，结合轻量级LightGBM模型在13类目标上实现99%准确率、0.98ms延迟和0.63W功耗，并通过PYNQ-ZU FPGA验证边缘部署可行性。
阿南德·莫汉（Anand Mohan）| 海曼特·库马尔·米纳（Hemant Kumar Meena）| 阿比谢克·斯里瓦斯塔瓦（Abhishek Srivastava）| 莫罕德·瓦吉德（Mohd Wajid）
电气工程系，马拉维亚国立技术学院（Malaviya National Institute of Technology），斋浦尔（Jaipur），拉贾斯坦邦（Rajasthan），302017，印度
摘要 对于自动驾驶系统而言，可靠地感知道路环境仍然是一个关键挑战，尤其是在恶劣天气和能见度低的条件下，传统的传感器（如摄像头和激光雷达）的性能会显著下降。尽管毫米波（mmWave）雷达在这种环境中具有强大的感知能力，但如何有效利用其稀疏、噪声较大且不均匀的点云数据来实现实时的多类道路物体分类仍然是一个未解决的问题。现有方法通常依赖于计算密集型的深度学习架构或手工制作的特征表示，这些方法无法充分保留空间关系，从而导致推理延迟增加和功耗增加。这些限制阻碍了它们在资源有限的边缘平台上的实际应用。为了解决这些问题，本文提出了一种基于毫米波雷达感知、基于图的特征提取和Light Gradient Boosting Machine（LightGBM）分类器的实时多类道路物体分类框架。雷达生成的三维点云数据通过俯视（TV）和正视（FV）滤波转换为二维表示，其中TV投影更有效地保留了空间关系并增强了类别可分性。该框架在一个包含7800个雷达样本的平衡数据集上进行了评估，这些样本均匀分布在13种道路物体类别中，包括多种车辆类型、易受伤害的道路使用者、静态障碍物和道路边界。实验结果表明，分类准确率为99.00%，推理延迟仅为0.98毫秒，功耗仅为0.63瓦。此外，整个处理流程是在PYNQ-ZU FPGA平台上通过硬件-软件协同设计实现的，验证了其低延迟、节能的性能以及适用于实时自动驾驶应用的可行性。
引言 自动驾驶系统依赖于精确的物体检测，以通过实时识别车辆、行人和道路危险来确保安全。这对于车道保持、自适应巡航控制和碰撞避免等功能至关重要。仅使用雷达的检测方法显示出潜力，但也存在关键限制。应用于FMCW雷达的YOLOv5在人类检测方面达到了0.89 mAP，但对雷达设置很敏感[1]。Radatron使用级联MIMO雷达，达到了92.6%的AP50，但范围仅限于25米[2]。一种基于3D点云的方法在人类姿态分类方面达到了97.10%的准确率，但仅在4米范围内有效[3]。融合技术提高了鲁棒性[4],[5]，但引入了复杂性和处理开销。深度学习模型[1],[2]需要大量数据和高计算能力，而稀疏雷达数据在遮挡和运动场景下会降低性能[3]。为了解决这些问题，本文提出的方法利用标准毫米波雷达，并结合图小波变换（GWT）和时空注意力机制从稀疏数据中提取有效特征，避免了PointNet++和DGCNN等模型的局限性。雷达-视觉融合方法，如多数据源深度学习物体检测网络（MS-YOLO）[6]、空间注意力融合（SAF）[7]、RGB融合[8]和全局-局部特征增强网络（GLE-Net）[9]在具有挑战性的场景中提高了检测能力，但在恶劣条件或数据有限的情况下表现不佳。多传感器系统，如使用毫米波雷达和视觉传感器的混合物体检测和跟踪（HODET）[10]、多模态3D物体检测和跟踪框架（EZFusion）[4]以及视觉-雷达组合[11],[12]在跟踪精度上有所提升，尽管同步和分辨率问题仍然存在。CRUW3D数据集[5]提供了有价值的多模态数据用于3D感知，尽管规模有限。雷达物体检测自监督ROD（SS-RODNet）[13]通过掩膜图像建模提高了性能，而一种基于FPGA的图特征方法实现了低数据和计算需求的高效实时雷达分类。
本文解决了现有仅依赖雷达和多传感器感知系统的局限性，包括高计算复杂性、对雷达配置的敏感性、有限的操作范围以及使用稀疏毫米波雷达数据时的较差的可扩展性。为此，提出了一种轻量级且高效的仅依赖雷达的物体分类框架。
本工作的主要贡献总结如下：
1. 为了捕捉雷达点云数据中的结构关系，开发了一种基于图的特征提取方法，用于处理经过俯视（TV）滤波的二维点云图像。
2. 基于Light Gradient Boosting Machine（LightGBM）的分类器功耗仅为0.63瓦，分类准确率为99.00%，推理延迟为0.98毫秒。
3. 该系统采用PYNQ-ZU FPGA平台上的硬件-软件协同设计实现，表现出低延迟和节能的性能，适用于基于边缘AI的自动驾驶应用。
本文的结构如下：第2节介绍了毫米波雷达及其在所提框架中的作用；第3节详细介绍了所提出的基于图信号处理（GSP）的检测方法；第4节展示了实验结果；第5节总结了研究内容。
节选内容 毫米波雷达 毫米波（mmWave）雷达是一种先进的传感技术，使用频率通常在76–81 GHz范围内的高频电磁波。这些信号具有较短的波长，被环境中的物体反射后由雷达系统接收。通过处理这些信号，系统可以准确确定物体的关键属性，包括距离、速度和角度位置。由于毫米波的波长很短（约4毫米），
数据采集和预处理的硬件设置 数据采集使用了德州仪器（Texas Instruments）的AWR1843毫米波雷达模块，关键配置参数总结在表1中。所提出的系统旨在支持高级驾驶辅助系统（ADAS）和自动驾驶应用的可靠多类物体识别。图1展示了所提方法的整体工作流程。表2总结了本研究中使用的所有道路物体类别的样本分布。
结果与讨论 所提出的多类分类系统在一个包含13个物体类别的平衡数据集上进行了评估，如表2所示。每个类别收集了600帧雷达数据，共计7800个样本。数据集被随机分为80%用于训练，20%用于测试，以确保评估的公正性。表4报告了多种基线分类器的性能——随机森林（RF）、k k
结论与未来工作 本文提出了一种基于毫米波雷达、基于图信号处理（GSP）的特征提取和轻量级机器学习的实时多类物体分类框架。该系统成功地在PYNQ-ZU FPGA平台上实现，使用LightGBM分类器和雷达点云数据的俯视投影，达到了99.00%的最高分类准确率。所提出的方法在分类准确性和
