一种基于多模态融合的视频内容文本化方法及系统

本发明提供一种基于多模态融合的视频内容文本化方法，包含以下步骤：步骤1.动态识别视频中存在的有效模态信息，包括字幕信息检测、音频信息检测及关键帧信息采样；步骤2.对所述字幕信息，采用基于区域聚类的OCR增强方法进行字幕提取；对所述音频信息，采用多引擎协同转写与权重融合策略生成语音文本；对所述关键帧信息，生成描述性文本；步骤3.将所述字幕、语音文本、描述性文本和视频时间轴进行时空对齐并进行语义融合；根据融合结果反馈调整所述关键帧信息采样的策略，形成自适应反馈。本发明能够自适应融合多模态信息、覆盖视频全要素的文本化方法，以提高内容提取的鲁棒性与全面性。