摘要
本申请涉及通信技术领域。通过提供一种甚低速率视频通信方法和系统,方法包括:对目标物体图像知识库和背景知识库进行构建处理,生成多模态训练数据及三维重建基础数据;对发送端视频帧通过多模态大模型进行目标识别与属性提取处理,生成包含目标属性的结构化文本数据;对结构化文本数据进行帧封装处理,生成传输数据帧,对传输数据帧进行自适应信道传输处理,生成信道适配传输数据流;对信道适配传输数据流进行解析处理,通过三维渲染引擎进行动态三维视频场景重建处理,生成可交互的三维监控画面,以解决传统编码的语义压缩局限性、文本‑三维映射链路断裂及窄带信道高清视频传输与三维还原效率低下的问题。
技术关键词
视频通信方法
三维渲染引擎
多模态
数据
物体
视频帧
发送端
局部纹理特征
生成信道
置信度阈值
特征点集合
图像
动态优先级排序
速率
文本
多尺度特征
生成场景
模型库