一种基于多模态数据融合的智能助手交互方法、装置和系统

本发明为一种基于多模态数据融合的智能助手交互方法、装置和系统，所述方法包括如下步骤：1)多模态感知：用户发出指令，系统通过多模态感知采集数据；2)多模态融合：系统将采集到的多模态数据进行语义融合，生成任务语义表示；3)任务生成与执行：系统根据任务类型分解子任务并分配至相关设备或服务；4)交互反馈：系统将执行结果通过语音播报或显示屏反馈给用户；5）学习以及优化：通过交互反馈后的优质结论进行保存和学习，通过学习使其获得的指令执行更加精准。本发明结合多模态使得系统支持语音、视觉和文本的多种输入方式，提升用户交互体验。