摘要
本发明公开了一种虚拟对象的口型驱动方法、装置、设备和介质,通过获取音视频数据和多个遮挡物数据;提取各遮挡物数据对应的纹理特征和遮罩;根据纹理特征和遮罩对音视频数据进行调整,生成遮挡场景数据;采用遮挡场景数据对预设的初始驱动模型进行训练,得到口型驱动模型;当接收到目标音频数据和虚拟对象时,通过口型驱动模型按照目标音频数据驱动虚拟对象的口型。从而在人脸图像被遮挡的情况下仍然能够通过音频数据实现口型驱动,有效提高虚拟对象的使用便利性。
技术关键词
虚拟对象
遮挡场景
纹理特征
深度学习模型
人脸
驱动方法
图像分割模型
图像处理软件
音频特征
模型训练模块
对音视频
数据获取模块
坐标
处理器
数值
系统为您推荐了相关专利信息
语音控制模块
多媒体
人体身份识别
调节浴室
播放模块
分布式电缆
状态监测系统
深度学习模型
数据采集模块
分布式声波传感
排放流
监测方法
排放量
融合特征
计算机存储介质
深度学习混合模型
数据
关系
文本
知识图谱构建技术