增强多模态大语言模型视觉感知能力的方法、模型和装置

本发明涉及计算机视觉技术领域，提供了一种增强多模态大语言模型视觉感知能力的方法、模型和装置。方法包括：使用第一视觉专家模型对图像进行全景分割，得到全景分割图，使用第二视觉专家模型对图像进行深度预测，得到深度图；根据所述全景分割图和所述深度图，生成视觉元信息；根据所述视觉元信息和用户查询，生成文本特征；其中，所述文本特征包括用户查询中的语义信息和所述视觉元信息中的结构信息；从图像中提取视觉特征，将所述视觉特征和所述文本特征输入至大语言模型中，得到视觉感知结果。本发明通过生成视觉元信息，将视觉元信息与语言模型相结合，从而有效促进视觉感知能力与语言推理能力的深度融合。