一种基于多模态问答的即插即用开放词汇目标检测方法

本发明公开了一种基于多模态问答的即插即用开放词汇目标检测方法，其步骤包括：1)构建即插即用的开放词汇目标检测模型，包括文本感知的主语抽取TASE模块、文本导向的多模态目标定位TMOP模块以及多模态大模型MLLMs驱动的最优目标选择MOOS模块；2)对于输入的查询信息，TASE模块从中抽取若干目标主语并将其输入TMOP模块；3)TMOP模块检测查询信息的图像中每一目标主语对应的候选检测框及其序号，根据检测结果对图像进行标记输入MOOS模块；4)MOOS模块根据图像及标记图像选择图像中每一目标主语对应的检测目标。本发明显著提高了开放词汇OV场景下的检测性能，且不需要额外的训练资源。