基于流形投影的数字人手-物协同视频生成方法

本发明公开了基于流形投影的数字人手‑物协同视频生成方法，属于数字人生成领域，包括以下步骤：S1、多模态特征提取；S2、基于语义流形嵌入的交互手势建模；S3、基于几何流形嵌入的交互轨迹生成；S4、基于时序流形投影的交互视频动态生成：基于时序流形空间，将语义驱动的手势表示和轨迹表示作为输入，提取时序条件特征，并基于扩散模型进行条件生成，逐帧生成目标交互视频。采用上述基于流形投影的数字人手‑物协同视频生成方法，通过在语义、几何和时序三个维度基于流形投影进行建模，显著提升了数字人手‑物协同视频生成的自然度、准确性和真实感。