一种虚拟数字人多媒体教学交互方法、系统及存储介质

本发明涉及一种虚拟数字人多媒体教学交互方法、系统及存储介质，具体地，采用摄像头获取学生图像，采用姿态检测模型得到上半身的人体关键点；将所述学生图像输入到骨干网络得到多个尺度的特征图，利用最小尺寸的特征图得到脸部关键点的主热图，将主热图的关键点和参考热图中参考点进行匹配得到匹配度；根据匹配度确定目标参考热图并从多个尺度的特征图中确定目标特征图，采用目标特征图和目标参考热图得到参考点的辅助热图，基于辅助热图和主热图得到脸部关键点特征；利用人体关键点特征和脸部关键点特征确定学生注意力；基于学生注意力调整虚拟数字人多媒体教学的策略。