摘要
本发明提出了基于多模态大模型的自动驾驶车辆最后一公里接乘客系统,属于自动驾驶技术领域,该系统包括多模态数据采集与感知模块;多模态大模型处理模块;路径规划与动态接送点调整模块;乘客位置预测与跟踪模块;乘客交互与增强现实AR引导模块;该系统在多模态数据采集与感知模块进行乘客数据信息的采集和特征提取,并进行车辆周围环境感知信息的分析,在多模态大模型处理模块对提取的乘客的各种特征信息进行融合,结合车辆周围环境信息和乘客周围环境信息生成的路径和接送点将会更加准确;该系统通过集成多种数据来源,智能优化接送点选择、路径规划和乘客交互等,确保在复杂环境中能够高效完成对乘客的接送任务。
技术关键词
乘客历史数据
节点
Attention机制
多模态数据采集
文本
视频帧信息
BERT模型
动态贝叶斯网络
图像
WebSocket协议
车辆周围环境感知
视频分析
深度强化学习
车辆周围环境信息
多源定位技术