摘要
本申请公开了一种用于数字人直播素材的生成方法,包括:根据数字人直播素材生成请求,获取用于生成数字人直播素材对应的对象信息数据,所述对象信息数据至少包括文字、图像或视频中的一种;对所述对象信息数据进行多模态理解,并生成直播文案;对所述直播文案的不同部分与相应图像或视频进行匹配,作为第一匹配信息;将所述直播文案转换为语音数据,并生成所述直播文案与时间戳的匹配信息,作为第二匹配信息;将所述语音数据生成唇部驱动视频素材;其中,所述唇部驱动视频素材、第一匹配信息和第二匹配信息作为数字人直播素材。本申请提供的方案能够自动获取素材、切换素材、文案与素材融合,从而提高自动化直播程度、降低开播成本。
技术关键词
生成数字人
生成方法
视频
对象
画面
渲染方法
计算机执行指令
计算机程序指令
文字转语音模块
分段
图像
大语言模型
关系
多模态
数据获取单元
处理器
可读存储介质
商品特征
系统为您推荐了相关专利信息
视频异常检测方法
立方体
编码器参数
条目
分类器
头皮脑电
信号识别方法
分类器
原始脑电信号
预训练模型