基于合成文本和全局混合线性专家的视频描述生成方法

本发明公开了一种基于合成文本和全局混合线性专家的视频描述生成方法，旨在通过创新的模型架构和数据构造策略，实现高质量的视频内容自动描述。本发明方法适用于视频辅助字幕系统、教育视频内容摘要或视频内容平台智能分析场景中，能够自动生成高质量的视频描述文本。其通过架构创新，在模型层面实现了首个全网络MoE化的Transformer框架，从而构建了全局混合线性专家模型，为视频描述任务构建了强有力的模型基础。该模型能够高效融合多模态信息与多样化内容特征，并为后续训练提供了良好的支持与扩展能力。