一种动态视频生成方法及装置、电子设备、存储介质

AITNT
正文
推荐专利
一种动态视频生成方法及装置、电子设备、存储介质
申请号:CN202411081878
申请日期:2024-08-08
公开号:CN118612367B
公开日期:2024-10-29
类型:发明专利
摘要
本申请公开了一种动态视频生成方法及装置、电子设备、存储介质,所述方法包括:获取分镜头的文本脚本;通过大语言模型对文本脚本进行语义扩展,得到多个场景描述,并生成每个场景描述对应的分镜静态图;利用融合重绘模型对从各张分镜静态图中选择的目标分镜静态图进行重绘处理;生成用户选择的目标分镜静态图上的动态区域的掩码图;通过图生视频模型利用目标分镜静态图和掩码图的特征信息,按照图像生成提示信息生成分镜头的动态视频;对动态视频进行视频后处理;根据动态视频的主题风格生成音频生成提示信息,并通过音频生成模型按照音频生成提示信息生成当前视频音频;将当前视频音频添加至分镜头的动态视频中,得到最终的分镜头的动态视频。
技术关键词
生成提示信息 音频 高维特征向量 视频生成方法 图像边缘信息 动态 图像特征信息 图像组合单元 视频帧 大语言模型 绘图模型 边缘检测算法 生成用户 文本编码器 脚本 注意力 视频生成装置
系统为您推荐了相关专利信息
1
助听器降噪方法及装置
助听器降噪方法 噪声数据 噪声源 HMM模型 特征提取算法
2
一种车载收音机音频降噪的控制方法和系统
降噪模型 车辆状态信息 车载收音机 音频 立体声
3
通信方法、装置及电子设备
基站设备 消息 模拟器 服务器 非易失性存储介质
4
基于动态负样本挖掘的钢截面自监督异常检测方法及系统
异常检测方法 样本 多分支 高维特征向量 动态
5
一种基于人工智能的语音处理方法和装置
降噪模型 降噪需求 语音特征 说话人识别技术 数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号