摘要
本发明涉及计算机技术领域,具体涉及一种基于多模态的三维模型编辑方法、装置、设备及介质。该方法包括:获取多模态融合的图像个性化生成方法和源三维模型;获取源三维模型对应的个性化图像生成网络,并训练个性化图像生成网络;基于参考图像列表和对应的文本描述,融合后得到多模态嵌入信息;以训练后的个性化图像生成网络为骨架,添加多个性化学习模块,得到多个性化图像编辑网络;利用多个性化图像编辑网络,按照多模态嵌入信息对源三维场景图像进行编辑,得到单视角编辑图像。本方法生成的多模态嵌入信息允许用户输入文本、图像、草图等多个模态的提示信息,挖掘各个模态提示的互补性,从而提高编辑的可控性,实现高质量三维模型编辑。
技术关键词
多模态
三维模型编辑方法
图像嵌入
图像生成网络
个性化生成方法
图像编码器
三维编辑方法
列表
三维环境模型
图像渲染方法
多视角
融合算法
文本编码器
计算机
系统为您推荐了相关专利信息
Softmax函数
预测系统
融合特征
多模态特征
图像提取模块
靶区自动勾画
直肠癌放射治疗
标签
图像匹配
勾画方法