摘要
本发明属于智能运动辅助学习技术领域。提出了一种基于跨模态映射的肢体动作学习线索标注方法及系统对动作教学视频中的语音讲解进行语言解析,得到逐句文本以及对应的时间标记;对所述逐句文本进行解析,提取逐句文本中的实体以及各实体对应的角色;从动作教学视频中提取动作示范主体的运动特征;将所识别的实体映射到图形,生成可视化线索;根据可视化线索、语言解析结果与运动特征,将可视化线索布局到对应的时间和空间位置,得到最终的肢体动作学习线索标注结果;通过构建优化的图形线索,能够更加直观、生动地呈现动作要点,帮助学习者通过直观的可视化提示清晰理解动作要领,提升了学习效果。
技术关键词
动作教学
线索
标注方法
跨模态
运动特征
动作示范
文本
实体
视频
关节
可读存储介质
辅助学习技术
人体拓扑结构
布局
语音
人体姿态估计
语义分割模型
字幕
特征提取单元
系统为您推荐了相关专利信息
特征提取模块
激光
融合图像特征
跨模态
缺陷监测方法
遥感图像分类方法
视觉特征
文本编码器
图像分类模型
更新网络参数
辅助标注方法
多层次
密度分布特征
图像处理
局部二值模式
分析系统
多源异构数据处理
贝叶斯神经网络
知识图谱驱动
插值模块