摘要
本发明提供一种交错图文的生成方法、装置、电子设备和存储介质,涉及人工智能技术领域,其中方法包括:将用户需求信息输入交错图文生成模型,得到交错图文;交错图文生成模型为基于一致性损失对初始交错图文生成模型进行训练得到的,一致性损失为基于当前的第一样本图像token组对应的样本中间特征图的第一特征和之前的各样本中间特征图的第二特征之间的样本相似度确定的,当前的第一样本图像token组为将交错的样本文本和样本图像输入初始多模态大模型得到的。本发明是基于一致性损失训练得到交错图文生成模型,考虑到了各样本中间特征图之间的相似性,从而能够提高交错图文生成模型生成的交错图文中图像之间的一致性。
技术关键词
图文
样本
多模态
文本
生成方法
注意力
生成指令
非暂态计算机可读存储介质
模块
图像解码器
特征提取模型
电子设备
人工智能技术
处理器
生成装置
记忆
存储器
矩阵
序列
系统为您推荐了相关专利信息
推荐系统
开发方法
模板
测试环境配置
混合推荐算法
非结构化特征
双通道注意力
营销电费
数据
编码器
回归预测模型
主成分分析方法
矩阵
回归方法
划分方法