摘要
本发明涉及金融及医疗技术领域,公开了一种VLA模型推理方法、装置、计算机设备及介质,VLA模型推理方法包括接收输入的多模态数据,所述多模态数据包括视觉数据、语言数据及动作数据;对多模态数据进行多模态动态特征提取,以得到多模态初始动态特征;基于多模态初始动态特征构建初始动态语义关联网络;当监测到新的多模态数据输入时,对初始动态语义关联网络进行更新,以得到更新后的动态语义关联网络;对多模态初始动态特征进行并行协同编码,以得到协同编码特征;基于协同编码特征和更新后的动态语义关联网络进行并行协同推理与决策,以输出决策结果。本发明提升了交互准确性,满足了实时交互场景需求。
技术关键词
语义关联网络
推理方法
多模态
编码特征
动态特征提取
数据
决策
并行编码
计算机设备
视觉
空间坐标信息
分支
动态上下文
协同注意力
网络节点
跨模态
推理装置
系统为您推荐了相关专利信息
检修对象
巡检路径
柔性仿生机械臂
三维点云地图构建
障碍物
推拿系统
多模态
穴位
三自由度机械臂
红外热成像仪
作物生长模式
深度神经网络模型
农业
多模态信息融合
融合特征