低资源场景下多模态命名实体识别与定位方法

本发明提出了一种低资源场景下多模态命名实体识别与定位方法，方法包括：通过计算相似度筛选语义相近的图文对，在低资源场景下，使用LLaMA作为核心结构，通过构造多模态实例，更加充分地利用模型预训练知识。在训练阶段，通过计算相似度筛选语义相近的图文对，构建实例辅助训练，并在训练过程中同时计算命名实体识别损失函数和实体定位损失函数帮助训练；在非训练阶段，通过语义相似度计算构建实例辅助推理，提升多模态命名实体识别与定位在低资源情景下的效果。