一种嵌入式具身智能视觉语言大模型知识库构建及应用方法、设备、介质及产品

本申请公开了一种嵌入式具身智能视觉语言大模型知识库构建及应用方法、设备、介质及产品，涉及数据智能处理领域。该方法包括采用图像编码器和文本编码器，分别将图像和文本数据编码为向量，得到图像和文本向量；融合图像向量和文本向量，并基于融合结果生成知识图谱，得到嵌入式具身智能视觉语言大模型知识库；获取用户问题，并解析用户问题得到解析结果；基于解析结果在多模态知识库中检索得到多个物体以及图检索结果；将选取的多个物体与对应的图检索结果进行合并，得到三元组信息，并将三元组信息转化为物体的位置文本描述后，输入到多模态大语言模型中，输出与用户问题对应的答案。本申请能够提高生成回答的准确性，减少幻觉现象的发生。