摘要
本申请公开了一种背景音乐生成与同步方法、装置、设备及存储介质。该方法包括:对待处理视频进行多模态分析得到视频特征,所述视频特征包括视频场景特征、目标物体特征、人物动作特征和视频语音特征;基于所述视频特征生成背景音乐,并利用短时傅里叶变换提取所述背景音乐的节拍能量特征;基于所述人物动作特征和所述节拍能量特征分别确定视频节奏曲线和音乐节拍曲线,基于所述视频节奏曲线和所述音乐节拍曲线对所述待处理视频和所述背景音乐进行同步得到视频作品。本方案多模态特征的深度融合与动态匹配,有效提升视频内容与背景音乐的节奏一致性和情感契合度,实现了视听同步效果,增强了用户的观感体验。
技术关键词
视频
同步方法
音乐
动作特征
曲线
短时傅里叶变换
场景特征
语音特征
融合语义
计算机可执行指令
梅尔频率倒谱系数
动态时间规整算法
频谱建模
自然语言
多模态特征
同步设备
特征提取模块
处理器
同步装置