基于多模态感知的机动泵语言控制方法及系统

本发明公开了基于多模态感知的机动泵语言控制方法及系统，涉及机动设备智能控制技术领域，包括，收集语音指令、图像信息和泵体运行参数，生成感知数据，将感知数据输入至任务场景识别算法识别作业任务类型，得到场景标签；将感知数据与语音指令进行匹配，通过实时语义解析构建语音控制子集；通过多模态意图识别方法对语音控制子集进行处理，得到语音意图标签；将语音意图标签与场景标签进行对比，构成语音链结构。本发明通过BERT编码器和多模态意图分类网络提取跨模态联合特征，从而准确判定用户的真实意图，有效提升了语音指令识别的准确性和鲁棒性，对复杂指令的理解和响应能力。