标题：基于多模态大语言模型的低延迟端到端自动驾驶模型
作者：金彦亮1，2 顾晨杰1，2 高塬1，2
作者单位：1 上海大学通信与信息工程学院，上海200444；2 上海大学上海先进通信与数据科学研究院，上海 200444
关键字：自动驾驶；多模态大语言模型；模仿学习；多任务学习
摘要：自动驾驶技术当前是科技领域的研究热点之一。针对当前自动驾驶领域中，端到端模型在可解释性和实时性之间无法权衡的问题，提出了一种基于多模态语言模型的低延迟端到端自动驾驶模型，利用多模态大语言模型对自动驾驶数据集进行决策原因和关键物体的标注，并通过多任务学习来预测决策原因和关键目标，为决策过程提供直观解释的同时，避免了实时推理阶段直接使用大模型推理带来的推理延迟，从而在保证实时性的情况下增加了可解释性。通过仿真实验证明了该模型在提高驾驶完成率、减少模型违规行为与增强可解释性方面的有效性，为端到端自动驾驶领域的决策算法提供了新的思路。