一种模型的训练及智慧座舱可见即可说方法

本申请公开了一种多模态智慧座舱交互大模型的训练及智慧座舱可见即可说方法。利用第一样本集对已具备多模态数据处理能力和自然语言理解能力的多模态基础大模型进行训练，使其转化为多模态智慧座舱交互大模型。这一过程让模型准确识别目标智慧座舱系统中各界面包含的界面元素的功能含义，为后续与用户的交互奠定坚实基础。基于第二样本集对多模态智慧座舱交互大模型进行训练，多模态智慧座舱交互大模型能够学习到语音意图与目标智慧座舱系统中各界面图像的界面元素之间的映射关系。后续当用户发出语音指令时，多模态智慧座舱交互大模型可以准确理解用户意图，并找到对应的界面元素执行操作，大大增强了语音交互的准确性和有效性，提升用户体验。