一种基于跨模态动态权重分配的AI视频处理方法及系统

本发明涉及人工智能与多媒体处理交叉技术领域，尤其涉及一种基于跨模态动态权重分配的AI视频处理方法及其系统，该方法包括以下步骤：S1、接收多模态输入数据；S2、通过模态专用特征提取器分别提取各模态数据的语义特征；S3、通过跨模态注意力机制对提取的特征进行语义对齐，所述跨模态注意力机制动态分配模态权重；S4、将语义对齐后的特征输入多模态Transformer进行特征融合，生成统一的多模态语义表示；S5、基于所述多模态语义表示，生成式神经网络生成视频帧序列，S6、对视频帧序列进行后处理；S7、输出视频文件。本发明通过跨模态动态权重分配，解决关键模态特征弱化问题，并跨模态注意力单元精准响应语义场景。