基于跨语言注意力模式的多语言物体幻觉缓解方法

基于跨语言注意力模式的多语言物体幻觉缓解方法，解决了如何缓解在非英语提问下大型视觉语言模型在检测时的多语言物体幻觉问题，属于多模态问答技术领域。本发明包括：识别出在处理不同语言中相同语义提问时，视觉语言模型对于英语和目标语言表现出明显不同行为的跨模态注意力头集合；对同一图像构造英语和目标语言的图像描述查询，并分别输入各自的视觉语言模型中进行推理，获取英语和目标语言下的注意力输出，将它们之间的平均差异作为目标语言的语言迁移向量；在目标语言提问的推理过程中，利用所述语言迁移向量对所述注意力头集合中的注意力头进行干预,使视觉语言模型在非英语提问下的视觉理解能力更接近英语提问。