一种基于多模态理解的数字人交互方法及系统

本发明涉及一种基于多模态理解的数字人交互方法及系统，属于数字人智能交互技术领域。其中，该方法包括：获取多模态数据，根据多模态数据通过特征提取模型得到多模态特征；根据多模态特征通过知识增强模型得到增强模态特征；根据增强模态特征通过图表示学习模型得到模态融合特征向量；大语言模型通过多头注意力机制学习模态融合特征向量得到自然语言输出。实现了数字人对于多模态数据的理解，提高了数字人交互过程中的平滑度、自然性和智能化。