摘要
本发明公开了基于视觉语言模型的运动重定向方法,包括:步骤一:通过动作捕捉设备与多视角摄像头采集国标手语动作数据;步骤二:构建包含3D模型、模型对应的骨架结构、每帧动作数据序列、手语动作名称的自建数据集;步骤三:利用视觉语言模型提取手势视频的时序语义嵌入;步骤四:通过两阶段训练框架,先进行骨架感知预训练,再结合语义一致性损失与物理约束微调,生成目标角色的合规手语动作;本发明的有益效果是:两阶段重定向框架,确保目标动作关节位置与源动作一致,保证相邻帧动作平滑连贯,提升生成动作真实性,为后续动作细节优化奠定基础,实现高保真动作迁移。
技术关键词
运动重定向方法
手语
动作捕捉设备
视觉
语义
生成动作
两阶段
序列
物理
时序
关节
动作特征
数据
框架
手势
合规性
视角
视频
参数
编码器