一种基于多模态融合提示的大语言模型空间理解能力增强方法

本发明公开了一种基于多模态融合提示的大语言模型空间理解能力增强方法，包括：构建数据集，数据集来自物理实体；基于目标检测算法对数据集中的每张图像进行处理，获得第一图像；基于深度语义分割网络对数据集中的每张图像进行像素级解析，获得第二图像；基于跨模态注意力机制对数据集中的每张图像与文本建立关联映射，获得第三图像；将第一图像、第二图像和第三图像按照对应的权重进行融合，获得最终图像；构建提示模版，将原始文本数据与提示模板结合输入到大语言模型中，获得最终文本；将最终图像与最终文本相结合输入到多模态大语言模型中，最终获得优化后的图文对数据。本发明通过图文双模态提示大大提升了多模态大模型的空间理解能力。