基于多模态信号的运动生成方法、装置、设备及存储介质

本申请公开了一种基于多模态信号的运动生成方法、装置、设备及存储介质。包括：将文本描述和轨迹控制信号输入信号平衡运动生成模型的信号密度测量模块，输出密集语义信号和稀疏语义信号；将密集语义信号、稀疏语义信号以及轨迹控制信号输入信号平衡运动生成模型的文本‑轨迹信号平衡模块，输出上下文语义调制信号和空间轨迹调制信号；将上下文语义调制信号和空间轨迹调制信号作为条件输入，产生优化的运动特征；基于优化的运动特征，采用注意力机制和线性层对噪声运动序列去噪，生成目标运动序列。本申请有效解决了现有的方法往往无法平衡文本和轨迹信号之间的协同控制问题，动态调整文本和轨迹信号的影响分布，生成符合用户期望的运动序列。