一种基于双模态提示学习的接地视觉问答方法及系统

本发明提出了一种基于双模态提示学习的接地视觉问答方法及系统，引入视觉提示和文本提示，将视觉和文本信息集成到模型的编码过程中，提高对复杂场景的理解和定位能力，采用多重迭代融合策略进行综合答案推理，确保高质量生成文本答案和接地答案。方法步骤为：将问题和相关图片输入至预训练模型CAT‑ViL中得到视觉知识提示和文本知识提示，同时提取图片特征，并对文本进行向量化处理；通过分层迭代融合的方式，用提示信息引导包括视觉和文本的多模态信息的推理；通过堆叠迭代注意力特征融合模块将推理得到的精细视觉和文本信息数据进行融合；将融合的数据与推理后的视觉和文本提示功能一起解码；专用分类头和目标检测头生成最终文本答案和接地答案。