一种多模态交互的数字人教学方法及系统

本发明提供一种多模态交互的数字人教学方法及系统，涉及智慧教学技术领域，方法包括以下步骤：获取多模态交互数据；建立教学交互模态关联表和教学内容关联表；获取用户发送的交互指令，提取第一和第二关键特征；生成第一模态应答数据；生成第二模态应答数据；判断第二模态应答数据匹配度是否高于预设阈值；若是则将第一模态应答数据和第二模态应答数据融合生成多模态输出数据；反之则仅将第一模态应答数据输出。本发明通过以往的教学数据，得到立教学交互模态关联表和教学内容关联表，根据用户的交互指令生成第一模态应答数据，选择性生成第二模态应答数据，以满足多模态互动教学，多模态输出更方便用户学习，知识教学全面且趣味性好。