一种多维感知与意图识别的教育系统

本申请公开了多维感知与意图识别的教育系统，该教育系统包括：高保真时空交互引擎，用于利用双重注意力射线评分网络对图像流进行姿态估计以及图卡识别，得到儿童与设备、图卡之间的物理交互方式和图卡识别结果，并根据图卡识别结果，结合三维高斯溅射/神经辐射场渲染技术生成高保真三维模型；视频序列生成模块，用于在需要生成视频序列时，利用时空协作网络根据高保真三维模型生成视频序列；视音频生成模块，用于将文本描述和视频序列输入至音频生成模型，得到目标音视频；补偿模块，用于在动态教学或儿童创作时，对目标音视频对应编辑。通过上述方式，能够实现从物理输入到动态、时序一致的数字孪生的高效映射与交互。