一种多模态大模型训练优化方法及装置

本发明公开了一种多模态大模型训练优化方法及装置，涉及大模型训练技术领域，方法包括以下步骤：初始化训练环境，准备文本、图像以及音频的多模态数据集，并配置训练所需的硬件资源与软件框架；本发明通过渐进式训练策略，先让各模态子模型独立学习本模态特征，避免早期多模态混合训练时的相互干扰，实现降低训练初期复杂度的效果，使得模型训练过程更易把控，在后续的多模态交互融合训练阶段，模态交互算法以及精心设计的融合机制，深入挖掘不同模态数据间细微且复杂的关联，达成提升模型对多模态信息综合理解能力的目标，针对各阶段训练所采用的优化算法，提升了参数更新的准确性与效率，最终实现提高模型稳定性和性能的整体效果。