摘要
一种与人类偏好对齐的文本到3D内容生成方法,在离线阶段通过基于包含专家偏好注释的文本到3D数据集(HP3D)对构造得到的基于多视角扩散模型的生成框架(DreamAlign)进行直接三维偏好优化(D‑3DPO)算法的偏好对比反馈训练,在在线阶段采用训练后的生成框架生成3D内容。本发明在文本到3D生成的整个阶段能够生成与输入文本高度一致的3D内容,提高用户对3D内容的满意度和接受度,更好地解决现有技术中存在的与人类审美偏好不匹配的问题,从而在实际应用中具有更高的实用价值。
技术关键词
内容生成方法
多视角
生成框架
人类
文本编码器
噪声特征
图片
数据分布
图像生成模型
阶段
蒸馏方法
信息编码
离线
算法