一种文生图模型训练方法、文生图方法及装置

AITNT
正文
推荐专利
一种文生图模型训练方法、文生图方法及装置
申请号:CN202411135476
申请日期:2024-08-19
公开号:CN119131194A
公开日期:2024-12-13
类型:发明专利
摘要
本发明提供一种文生图模型训练方法、文生图方法及装置,包括:将图文对输入至候选文生图模型中,每个图文对中包括样本图像及对应包括预设关系词以及身份信息的样本描述信息,通过候选文生图模型向样本图像添加预设噪声并基于样本描述信息对噪声图像进行去噪,得到预测噪声,基于预测噪声与预设噪声之间的噪声损失、样本描述信息与预设正负样本之间的对比损失得到目标损失,基于目标损失对所述候选文生图模型进行微调得到目标文生图模型。通过基于图像和关系词两方面损失对候选文生图模型进行训练,增强文生图模型对关系以及图像的学习能力,进而提高文生图模型基于用户描述输出的图像的准确性。
技术关键词
噪声图像 样本 模型训练方法 文本编码器 语义 图文 模型训练装置 注意力 图像编码器 关系 身份 计算机 模块 图像分割 处理器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号