一种面向图文生成模型的张量并行方法

本发明涉及图文生成模型的张量并行技术领域，具体为一种面向图文生成模型的张量并行方法，包括以下步骤：构建分层控制单元对GPT Transformer模型进行张量并行计算，实现模型分层加载；采用多卡并行的GPT Transformer模型对用户需求进行自然语言处理，实现文本与图像的跨模态语义对齐；结合深度扩散(Diffusion)网络训练图文生成模型。具体实现方式包括对输入矩阵和参数矩阵进行横切和纵切分块，并行计算Attention模块、MLP模块和输出Embedding层。本发明通过多层次张量并行计算，提高了模型的运算速度和效率，适用于图文生成系统和文案生成系统，能够有效提升用户体验和系统性能。同时提供了一种高效、可扩展的图文生成解决方案，具有广泛的应用前景和商业价值。