一种多模态行业问答大模型训练方法及系统

本发明公开了一种多模态行业问答大模型训练方法及系统，包括：首先获取多关系图及其中多模态实体的行业描述信息，多关系图包含多模态问题实体和多模态回答实体。接着从多关系图确认多模态实体实例，获取以其实例为核心节点的链路。然后依据多模态实体实例链路的行业描述信息对原始多模态行业问答大模型和原始特征转换网络优化学习，整体误差包含焦点多模态问题实体的第一学习误差，最终得到目标多模态行业问答大模型和目标特征转换网络。如此设计，通过考虑多模态实体间的复杂关系提升问答准确性，挖掘多模态实体的特征，优化模型训练过程，进而提高多模态行业问答系统对不同行业领域问题的解答能力。