增强多模态大模型空间感知能力的方法及装置

本申请涉及计算机视觉技术领域，特别涉及一种增强多模态大模型空间感知能力的方法及装置，其中，方法包括：利用多模态大模型提取目标图像和/或目标视频中至少一个物体的特征描述信息并生成初始结构化数据；对目标图像和/或目标视频进行网格化处理，并在网格中添加包含位置信息的视觉提示，结合视觉提示和初始结构化数据生成包含坐标信息和描述信息的结构化数据；基于结构化数据，定位至少一个物体对应的目标区域并优化空间坐标，以得到至少一个物体的实际物体坐标；将其映射回目标图像和/或目标视频的系统坐标，得到至少一个物体在空间中的实际定位结果。本申请可以显著提升多模态大模型的空间感知能力与动态场景适应能力，具有广泛应用场景。