一种基于多模态数据的大语言模型融合方法、设备及介质

本发明公开了一种基于多模态数据的大语言模型融合方法、设备及介质，具体涉及数据融合技术领域，用于解决现有的多模态融合过程中忽视了保持各模态独特性的重要性的问题，通过从文本和图像数据中提取高维的语义和视觉特征，利用自编码器进行语义特征和视觉特征的解耦处理区分出通用特征和模态特定特征，通过计算模态间的互信息和分析模态间的互补性，确定各模态之间的依赖程度和独特信息的贡献；在允许融合后，在变分自编码器框架中生成的融合潜在表示捕获各模态的综合信息，通过KL散度评估信息损失；通过对融合后的信息熵变异度和信息损失的综合分析，全面评估融合模型在保持模态独特性方面的表现。