基于多模态大语言模型对特定行业进行关系抽取的方法

本发明公开了基于多模态大语言模型对特定行业进行关系抽取的方法，包括样本信息输入Transformer编码器，利用跨模态注意力模块按照层次化融合方式进行多模态信息融合以捕捉文本中的语义关系，引入利用知识融合技术将爬取的特定行业数据构建知识图谱作为模态融合时的补充信息，使模型在处理文本、图像以及音频时，可以对比知识图谱中的内容以便于更好地理解不同模态间的潜在关系；将融合特征输入基于强化学习的奖励函数模块中，依据奖励函数的设定基于预测结果与真实实体关系的匹配程度，输出准确率较高的原始文本中两个实体间的关系。