一种基于场景生成数字人的方法

本发明公开了一种基于场景生成数字人的方法，属于数据处理技术领域，具体包括：对图像特征以及文本特征进行提取，采用注意力机制进行跨模态检索，分别学习基于图像的区域特征和基于文本的词汇特征；采用改进的门控机制加强图像－文本的语义匹配，过滤掉不相关的信息，生成新的图像和文本；分别计算图像和文本的相似度，采用计算局部的相似性，求和平均得到图像和文本的相似度；采用最大硬度的排序损失函数对设定批量的图像－文本匹配进行训练；本发明通过采用深度学习算法、注意力机制、改进的门控机制和最大硬度的排序损失函数等技术手段，实现了基于场景生成数字人的方法，从而提高了数字人生成的质量和效率。