一种多模态智能交互优化方法及系统

本发明提供一种多模态智能交互优化方法及系统，首先，根据用户的语音指令获得文本指令数据，并计算语音置信度；对摄像头拍摄图像中的物体进行识别和定位，获得视觉数据，并计算视觉置信度；根据触觉传感器获取智能设备与所接触物体的触觉数据，并计算触觉置信度。然后，根据上述三种感知的置信度调整预设决策模型中每种感知的权重。最后，将文本指令数据、视觉数据和触觉数据输入调整权重后的决策模型，得到任务执行策略。本发明公开的方法及系统，能够将语音、视觉和触觉感知相结合，同时，引入置信度评估机制，对任务执行进行多重验证，确保根据不同感知数据的准确性和可靠性做出动态调整。