基于视觉-语言大模型的特征融合的网格恢复方法及系统

本发明公开了基于视觉‑语言大模型的特征融合的网格恢复方法及系统，该方法包括：对原始视频序列进行预处理得到图像语义文本以及图像向量，对图像向量、图像语义文本进行特征提取得到视觉特征向量、文本特征向量；将同一帧的视觉特征向量与文本特征向量进行拼接再进行基于线性变换网络的特征交互得到初始融合特征；针对任一帧，结合前后帧信息并基于聚合网络聚合组内各帧的初始融合特征得到每一帧对应的组间聚合特征；利用每一帧的组间聚合特征对SMPL模型参数进行迭代更新，进而回归出完整的3D人体网格。本发明融合文本特征和视觉特征并有效地结合前后帧信息，全面地对有遮挡或视觉歧义的视频数据预测出平滑的3D人体网格序列。