多模态模型的抗幻觉训练方法、装置、设备及存储介质

本发明公开了一种多模态模型的抗幻觉训练方法、装置、设备及介质，首先在数据预处理阶段引入时延互信息因果发现算法，建立各模态数据之间的跨模态因果图谱。通过第二阶段的动态门控机制以及跨模态因果图谱对应的模态数据之间的因果关系，动态调整各模态数据的融合权重，以解决跨模态冲突消解能力，解决传统静态权重分配导致的数据融合失真的问题。并基于跨模态因果图谱对应的模态数据之间的因果关系，在原始多模态数据的基础上构建对抗多模态样本，并基于因果正则化对多模态模型进行约束对抗训练，得到抗幻觉的多模态模型，提高了多模态模型的推理精度。可应用于金融风险预测领域及医疗诊断领域，以提高风险预测准确率以及诊断准确率。