摘要
本发明涉及数据处理与人工智能技术领域,公开了基于多模态的新闻拆条控制方法及系统,包括:接收新闻短视频流,并将所述新闻短视频流拆分成多模态数据;基于多模态数据生成对应的语义表示,融合各模态特征形成统一语义表示,并生成初始拆条边界列表;对初始分割边界对应的每个片段,执行多模态语义一致性验证,并结合每个片段质量评估结果,优化所述初始分割边界,输出高质量片段。显著增强了拆条的准确性与实时性;结合结构一致性验证机制,有效保障了拆条片段的语义连贯性与结构合理性;进一步引入循环一致性引导的动态语义漂移调控与片段质量综合评估,提升了输出片段的多模态语义一致性与内容质量。
技术关键词
新闻拆条
初始分割边界
视频流
嵌入特征
音频特征
视觉特征
验证机制
文本
多模态特征
注意力
语义主题
自动语音识别
变换器
滑动窗口
跨模态
编码器