一种基于细粒度适配器的视觉问答方法和系统

本发明公开了一种基于细粒度适配器的视觉问答方法，其从三个方面提升视觉问答的效果，一方面利用Spacy进行命名实体识别以获取问题中的特殊信息，同时利用Ground‑Dino模型能捕获到图片中与特殊信息相关的细粒度区域；另一方面，利用图文匹配预训练大模型CLIP提取图片的多粒度语义特征，利用语言预训练大模型llama‑7B提取文本语义特征，并利用视觉语义特征提取模块将视觉域迁移到语义域，实现了视觉和语义对齐，使模型兼具视觉感知能力与语义理解能力；最后，利用基于细粒度适配器微调llama‑7B预训练语言模型所得到的多模态模型生成问题的答案，由于适配器体量小，能够轻量级而高效地迁移预训练模型中的知识到具体的视觉问答任务上。