摘要
本发明公开了一种基于虚拟现实的多感知交互方法及系统,包括:基于交互需求创建虚拟场景与智能体并构建其感知模型。智能体感知视觉、听觉、触觉的环境,提取感知特征时间序列数据,据此划分指令、计算指令优先级。依据预设知识图谱生成决策网络,结合指令优先级形成指令链,使智能体获得反馈策略。给反馈策略分配动态权重值,经注意力机制与感知模型融合来更新虚拟场景,得到交互方式,同时,实时记录用户身心参数,识别异常波动段,从相应交互中学习用户情感倾向,以此持续优化交互方式。该方法能够提升交互体验,使智能体更好地满足用户需求,增强交互的有效性和适应性,同时具有较好的可解释性。
技术关键词
感知交互方法
反馈策略
决策
生成指令
度量
多头注意力机制
网络
表达式
图谱
感知特征
节点
交互特征
构建虚拟场景
线性变换矩阵
短时傅里叶变换
动态