摘要
本发明涉及智能导航、金融科技及医疗健康技术领域,公开了一种基于多模态知识增强的导航方法、装置、设备及介质,包括:获取导航指令,并解析导航指令以获得目标约束、空间约束以及实体约束;基于目标约束、空间约束以及实体约束生成结构化目标描述文本;获取输入图像,并基于输入图像与结构化目标描述文本生成语义显著性图,其中,语义显著性图包括多个候选区域;基于预设场景知识图谱计算语义显著性图的每个候选区域的得分以获得融合评分;根据每个候选区域的融合评分进行路径规划以获得目标路径。无需导航数据进行训练即可实现导航,同时还可以根据语义聚焦于潜在目标,提高导航精度。
技术关键词
场景知识图谱
导航方法
多模态
文本
语义向量
医疗健康技术
实体
规划
生成知识
可读存储介质
指令
处理器
导航装置
图像编码
坐标系
多视角
计算机设备
模块
系统为您推荐了相关专利信息
多腔室
冷媒
康复治疗材料
功能康复设备
柔性电极
智能档案管理方法
档案库房
上架
节点
视觉识别技术
大语言模型
生成方法
闭环
强化学习算法
仿真平台
专家系统
前馈神经网络
多层感知器
分类特征
神经网络加速方法
数据采集节点
离心分离系统
智能离心机
多模态传感器
离心分离方法