摘要
本发明提供一种基于文本描述的不可见物体4D人物交互生成方法,包括阶段一,3D人‑物体交互关键帧恢复:通过人体运动模型获取人体运动序列并均匀降采样,提取关键帧;对每个关键帧通过SMPL‑X模型重建人体网格并提取顶点位置,形成人体点云;物体位置锚定网络以人体点云、物体模板点云和文本提示为输入预测物体位置,生成3D人‑物体交互关键帧;阶段二,4D人‑物体交互序列生成:构建接触感知扩散模型,以稀疏的3D人‑物体交互关键帧为输入,通过接触感知编码器提取条件信号;基于条件信号,通过接触感知扩散模型对3D人‑物体交互关键帧进行时序插值,生成时序连贯的稠密4D人‑物体交互序列。本发明实现对未见物体的自然逼真4D人物‑物体交互合成。
技术关键词
关键帧
物体
人体运动模型
重建人体
交互注意力
序列
生成方法
感知特征
点云
文本
时序
交叉注意力机制
编码器
网格
计算机存储介质
模板
处理器
信号
系统为您推荐了相关专利信息
输电线路图像识别
数学形态学
形态学特征
鸟巢
杆塔
动态背景
增量式地图更新方法
三维模型
条件随机场
深度值