摘要
本发明公开了一种指令驱动的个性化时尚图像编辑方法。本发明:1、定义编辑任务的类别,针对不同的编辑任务,构建“原始图像‑参考图像‑目标图像‑文本编辑指令”四元数据组;2、构建目标语义网络,生成遵循编辑指令和原始图像的目标图像语义信息,以此作为编辑模型的人体语义信息;3、构建统一编辑网络,包括构建语义控制网络、增加视觉联合模块以及应用低秩微调模块,实现多项编辑任务使用相同的框架获得对应的编辑能力;4、构建多任务低秩调整模块,通过联合训练使框架具备将不同编辑指令对齐到不同编辑任务的能力。最终,实现不同任务间独立又统一的框架。本发明在构建的特定数据集上进行了实验,在定量和定性上都取得了很好的结果。
技术关键词
图像编辑方法
语义
注意力
指令
模块
图像特征提取
编码器
文本
多任务
图像嵌入
残差网络
视觉
虚拟试衣
定义
查询特征
噪声
大语言模型