摘要
本发明涉及三维场景构建技术领域,可应用于金融科技和医疗健康领域,公开了一种基于视频的三维场景构建方法、装置、设备及介质,包括:通过对输入的原始视频按固定间隔采样提取关键视频帧,并提取所述关键视频帧的语义特征;对所述语义特征进行归一化处理得到归一语义特征,并将所述归一语义特征注入扩散模型的每一网络层;根据所述关键视频帧通过表面法线预测模型生成法线预测视频,其中,所述表面法线预测模型以所述扩散模型为基座,且插入了可增加所述法线预测视频连贯性的增强模块;根据所述法线预测视频及所述原始视频生成三维动态场景。实现了低成本且高效率地构建三维动态场景,不仅如此,还可输出高质量的三维动态场景。
技术关键词
三维场景构建方法
语义特征
三维动态场景
视频帧
三角网格模型
三维场景构建技术
三维场景构建装置
光流估计算法
交叉注意力机制
序列
深度图
可读存储介质
噪声特征
医疗健康
处理器
贴图
高效率地
视频编码
系统为您推荐了相关专利信息
语音通信方法
韵律特征参数
拼音
索引
编码单元解码