多模态文本生成方法、装置、电子设备及存储介质

本发明提供一种多模态文本生成方法，包括：获取目标视频以及与目标视频对齐的目标音频；对目标视频分别进行场景识别和/或人物角色识别，得到目标视频的场景描述信息和/或人物角色描述信息；对目标音频进行语音识别，得到目标音频的人物角色对话文本和/或背景音信息，人物角色对话文本包括多个人物角色的对话字段；将场景描述信息和/或人物角色描述信息与人物角色对话文本和/或背景音信息进行匹配结合，得到目标多模态文本。本发明目标多模态文本可以直观展示各场景和/或各人物角色的描述以及对话字段，降低了复杂对话场景模仿难度，同时，目标多模态文本比纯文本更具象和生动，满足用户对于热点视频模仿的娱乐需求。