一种基于检索的文生视频方法

AITNT
正文
推荐专利
一种基于检索的文生视频方法
申请号:CN202411054722
申请日期:2024-08-02
公开号:CN119011969A
公开日期:2024-11-22
类型:发明专利
摘要
本发明公开了一种基于检索的文生视频方法,包括:(1)对输入的文本提示P进行文本特征提取,获得语义向量;(2)利用语义向量在文本‑视频库中进行检索,匹配相似的文本‑视频对,选择与输入的文本提示P最相似的参考视频;(3)从参考视频中提取关键帧及其关键区域,并进行运动特征的提取;(4)使用提取的运动特征对预训练的文本‑视频生成模型进行微调;(5)将文本提示P输入到微调后的文本‑视频生成模型中,生成最终视频。利用本发明,可以提高生成视频的运动特征精准度,降低计算成本的同时提升视频的真实性。
技术关键词
视频生成模型 语义向量 文本 运动特征 预训练语言模型 关键帧 关键词 核心 蒸馏 注意力 定义 时间段 时序 图片 元素 图像 关系
系统为您推荐了相关专利信息
1
一种金融领域知识问答方法、装置及设备
神经网络结构 情感分析模型 知识问答方法 文本 节点
2
配电网负荷转供决策方法及系统
负荷转供 大语言模型 决策方法 模型训练模块 配电网拓扑结构
3
一种基于大语言模型的用户需求驱动的分布式供能系统容量配置方法
分布式供能系统 大语言模型 容量配置方法 数值优化算法 数学模型
4
一种语音重构方法、装置、电子设备及存储介质
融合语义 编码特征 显式语义特征 文本 视野
5
文档描述信息生成方法、电子设备、芯片系统及存储介质
文本 信息生成方法 芯片系统 电子设备 生成提示信息
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号