基于多模态大模型平台的内容生成方法、装置及设备

本申请涉及内容生成相关技术领域，具体涉及一种基于多模态大模型平台的内容生成方法、装置及设备。其中，方法包括：获取多模态数据；所述多模态数据包括：文本数据、图片数据、视频数据；基于预设的编码器将所述文本数据、图片数据、视频数据统一编码为潜在向量，并基于Transformer进行对齐和关联，得到多模态特征；基于多头自注意力机制，融合多模态特征，得到目标特征；将所述目标特征输入预设的多模态生成器，输出多模态内容；其中，所述多模态内容包括：文本内容、图片内容、视频内容；其中，运行多模态生成器功能的设备，通过智能预测负载和任务需求，实时优化GPU、内存的资源分配，确保高优先级任务快速完成；对多模态内容进行内容优化、质量评估。