一种多模态大语言模型建立方法、介质及系统

本发明提供一种多模态大语言模型建立方法、介质及系统，属于计算机模型技术领域，本发明提出的多模态大语言模型建立方法，首先对文本、图像、音频数据进行标准化预处理，然后构建包含双向长短时记忆网络、残差网络和一维卷积网络的特征提取结构。通过对齐度函数评估特征提取效果，基于对齐分量矩阵计算拆分指数，并构建模态贡献分配模型评估特征重要性。最后利用注意力机制实现特征融合，通过分类器层和损失函数优化完成模型训练。该方法通过特征对齐优化和贡献值分配实现了高效的多模态特征融合，解决了现有技术中存在的多模态特征对齐不足导致特征融合效果差的技术问题。