多模态融合人机交互控制方法、系统、设备及存储介质

本发明实施例提出多模态融合人机交互控制方法、系统、设备及存储介质，涉及智能驾驶技术领域，方法包括：获取车辆行驶数据、驾驶员状态数据；基于车辆行驶数据、驾驶员状态数据计算视觉模态、听觉模态和触觉模态的融合权重，得到多模态融合权重矩阵；根据多模态融合权重矩阵生成多模态交互信号，多模态交互信号包括视觉信号、听觉信号及触觉信号；根据多模态交互信号触发对应的视觉警示、听觉警示和触觉警示。如此通过将视觉、听觉和触觉进行多模态融合，并根据视觉、听觉和触觉各模态的权重来调整视觉警示、听觉警示和触觉警示的输出强度，有助于驾驶员根据各模态警示做出当下最紧急的操作，提高驾驶过程中人机交互的驾驶安全性。