基于多模态数据的人机交互方法

本发明涉及数据处理技术领域，尤其涉及一种基于多模态数据的人机交互方法，该方法实时获取多模态交互数据；针对任一模态交互数据，获取任一模态交互数据的数据质量性能评估值和实时响应性能评估值，得到任一模态交互数据的最优性能补偿值；利用最优性能补偿值对传统下计算的性能值进行修正，得到任一模态交互数据的最终性能值；获取每个模态交互数据的最终性能值，得到每个模态交互数据的权重；根据每个模态交互数据的权重，获取每个模态交互数据的加权梯度，根据每个模态交互数据的加权梯度进行梯度融合和模型更新，得到更新后的语言模型，用于输出多模态交互数据的应答信息，通过性能补偿有效的解决人机交互中出现的模态失衡缺陷。