一种基于文本驱动的数字人动作生成方法

本发明公开了一种基于文本驱动的数字人动作生成方法，在构建训练数据集时将人体各个身体部位进行解耦，针对每个身体部位生成对应的文本描述单元，通过随机选择文本描述单元构建描述同一动作的不同文本，缓解以往数据集存在的局部动作组合偏置的影响，帮助模型更好地将文本和其对应的局部身体动作进行关联；人体动作向量量化自编码器中的动作编码器和动作解码器均采用了图卷积网络的结构，更加有效地表征人体骨架连接关系。人体运动数据实际上应该为拓扑图结构，而非网格数据，因此图卷积神经网络相较于卷积神经网络，更有效地利用人体拓扑结构，提取关节之间地内在联系。模态转换模型受益于在训练时采用了局部语义强化的损失函数。