基于端侧多模态大模型的车辆主动服务系统及其动态推理方法

本发明提出了一种基于端侧多模态大模型的车辆主动服务系统及其动态推理方法，属于车联网领域，包括：多模态数据采集模块，采集车辆的多模态感知数据；多模态大模型处理单元，对多模态感知数据进行特征提取，得到不同模态的特征；跨模态注意力融合模块，将不同模态的特征数据转换为查询、键、值三元组并进行融合，得到融合特征；MCP动态推理控制器，基于融合特征进行车辆场景的初步判断，当需要进一步确认时，采集特定参数数据，并结合用户画像和历史行为数据生成主动服务决策；主动服务执行模块，生成车载设备控制指令并执行主动服务操作。本发明通过端侧多模态大模型与MCP动态推理协议，实现车载主动服务的实时响应和智能决策。