摘要
本发明属于数据处理领域,公开了一种基于AI的VR场景智能识别方法,包括:步骤1,在用户使用VR头显时,获取VR头显显示的图像帧I、头部姿态H与空间音频A,对I、H和A进行处理,获得时间对齐三元组序列,时间对齐三元组包括图像帧、头部姿态和音频方向;步骤2,分别获取每帧图像帧的图像特征,基于图像特征获取每个时间点的融合语义特征;步骤3,基于融合语义特征和音频方向构建空间语义图谱;步骤4,对空间语义图谱中的节点进行图传播运算,获得空间语义图谱中的每个节点的嵌入表示;步骤5,基于嵌入表示获取响应节点集合;步骤6,基于响应节点集合对空间语义图谱中的节点的嵌入表示进行更新。本发明提升了对场景的完整理解能力。
技术关键词
智能识别方法
语义图谱
融合语义
三元组
音频
场景
图像
VR头显
序列
决策系统
节点更新
语义特征
坐标系
视觉
因子
视频
指标
元素
定义
系统为您推荐了相关专利信息
音频生成方法
上采样
生成程序
多尺度特征提取
非线性
虚拟教学方法
多模态交互
声学特征
异常设备
计算机可执行指令
分析评价系统
音视频设备
综合评估模型
语音识别设备
评分预测模型
语句
音频特征
语音
计算机程序指令
计算机程序产品