一种支持图片拼接的多模态大模型训练方法

本发明涉及多模态模型训练技术领域，具体地说，涉及一种支持图片拼接的多模态大模型训练方法。其包括以下步骤：S1、使用混合多模态融合技术，结合BERT架构以及Vision Transformer视觉模型，构建图像拼接多模态模型；S2、使用风格损失函数来调整生成图像的风格，实现高质量的风格迁移;S3、使用主判别器与辅判别器评估生成图像的质量，计算判别器损失和辅判别器损失进行优化拼接图像;S4、实施端到端训练，使用学习率调度器和数据增强技术，提高模型效率。该一种支持图片拼接的多模态大模型训练方法，通过使用混合多模态融合技术实现文本和图像数据的高效融合，并通过风格损失函数调整生成图像的风格以及端到端训练，提高图像拼接的准确性、视觉一致性。