摘要
一种面向移动端实时渲染的体积视频生成方法,通过环绕分布的RGB相机阵列拍摄静态照片后建模为三角网格模型,在预配准阶段生成模型语义标签并将所有帧配准到临近帧后测量配准误差,根据配准误差对体积视频分段后,进行后配准并生成纹理,再根据后配准结果和分段信息生成用于移动端推理引擎(MNN)播放的计算图,与模型及纹理打包压缩后用于移动端或桌面通过MNN播放。本发明基于神经表面建模、语义标签配准、稀疏推理技术,能在移动设备上实时渲染体积视频,无需云计算辅助渲染,播放峰值信噪比介于29‑31分贝,视频流体积介于4‑10MB/s,并且实测能在iPhone X设备上以60FPS渲染、能在RTX3090主机上以1000FPS渲染。
技术关键词
视频生成方法
顶点
语义标签
纹理
移动端
配准误差
相机
关键帧
三角网格模型
节点
照片
坐标
像素
颜色
视角
分段
矩阵
编码
系统为您推荐了相关专利信息
变电站三维模型
变电站全景
虚拟现实技术
虚拟现实头戴式设备
虚拟现实场景
网格模型
快速渲染方法
曲面
原始网格数据
渲染装置
光传感器
雨刮控制系统
执行装置
纹理特征提取
车辆挡风玻璃
高速跟踪方法
汉明距离
基准
RANSAC算法
Harris角点检测
多模态
中草药
生成模型文件
神经网络对图像
数据采集模块