一种基于多模态融合的视觉意图目标定位方法及其系统

本申请公开了一种基于多模态融合的视觉意图目标定位方法，方法包括：构建两条独立且平行处理管道，管道包括：第一管道及第二管道，第一管道用于对输入的待检测的自然语言意图，结合大语言模型及视觉定位模型进行处理，输出第一处理结果；第二管道用于对输入的待检测的场景图像，结合物体检测模型及所述大语言模型进行处理，输出第二处理结果；基于预构建的多模态大语言模型，对两条管道输出的第一处理结果和第二处理结果进行融合，基于整体多模态关联性自适应选择最优检测结果，输出综合决策，实现视觉意图目标定位。本发明方法大幅提升了复杂视觉场景的隐式意图理解与匹配表现。