CoT-Drive：利用大语言模型（LLMs）和思维链提示技术实现自动驾驶的高效运动预测

《IEEE Transactions on Artificial Intelligence》：CoT-Drive: Efficient Motion Forecasting for Autonomous Driving With LLMs and Chain-of-Thought Prompting

准确运动预测是自动驾驶安全决策的核心，本研究提出CoT-Drive方法，通过大语言模型（LLMs）与链式思考（CoT）技术结合，采用教师-学生知识蒸馏策略优化轻量级语言模型（LMs），使其在边缘设备实现实时运行。研究构建highway-text和urban-text新数据集，实验表明该方法在五个真实数据集上预测准确率显著提升，首次实现LLMs在自动驾驶中的实际应用。

　　

影响声明：

对周围车辆的精确运动预测对于全自动驾驶系统（AD）的发展至关重要。这一理念受到大型语言模型（LLM）在上下文理解方面成功应用的启发...显示更多

摘要：

精确的运动预测对于安全的自动驾驶（AD）至关重要。本研究提出了CoT-Drive，这是一种新的方法，它通过利用大型语言模型（LLM）和思维链（CoT）提示技术来增强运动预测能力。我们引入了一种教师-学生知识蒸馏策略，有效地将LLM的高级场景理解能力转移到轻量级语言模型（LM）中，确保CoT-Drive能够在边缘设备上实时运行，同时保持全面的场景理解和泛化能力。通过无需额外训练即可对LLM应用CoT提示技术，CoT-Drive生成了语义注释，显著提高了对复杂交通环境的理解能力，从而提高了预测的准确性和鲁棒性。此外，我们提供了两个新的场景描述数据集——高速公路文本和城市文本，用于微调轻量级LM以生成特定于上下文的语义注释。对五个真实世界数据集的全面评估表明，CoT-Drive的表现优于现有模型，凸显了其在处理复杂交通场景方面的有效性和效率。总体而言，这项研究是首次考虑在自动驾驶领域实际应用LLM的研究。它开创了使用轻量级LLM替代模型进行运动预测的先河，树立了新的基准，并展示了将LLM集成到自动驾驶系统中的潜力。

引言

在动态且异构的环境中，对交通参与者的精确运动预测是自动驾驶车辆（AVs）决策和安全规划的基础，是自动驾驶（AD）系统的核心[1]、[2]。这些环境需要能够有效理解上下文语义信息的运动预测模型，包括各种参与者（如车辆、行人和骑自行车者）的运动和行为，以及交通信号和道路条件等环境因素，还有这些实体之间的复杂交互。尽管深度学习模型在运动预测方面取得了最新进展[3]、[4]，但它们在未见过的或极端情况下往往表现不佳，暴露出在泛化能力和上下文理解方面的关键局限性。这些数据驱动的模型通常侧重于更常见和简化的场景，在面对与训练数据差异较大的真实世界环境时表现较差。这引发了一个紧迫的问题：我们如何提高这些模型的适应性和鲁棒性？