基于多模态信息融合的视频处理方法、装置、设备及介质

本申请提供一种基于多模态信息融合的视频处理方法、装置、设备及介质，涉及视频处理领域。本申请方法通过大语言模型对视频中的语音文本进行处理，可以准确识别和转录语音信息，将非结构化的语音数据转换为结构化的文本数据，为后续的分析提供了可操作的文本信息。利用视频数据的图像特征和已获得的语音识别文本的文本特征提取图像关键帧，能够从大量的视频帧中筛选出最具代表性和信息量最大的帧，减少冗余信息，同时确保了视觉信息与语音信息的同步性。基于时间对应关系，将图像关键帧和语音识别文本进行对齐融合，输出多模态融合文本，可以更准确地捕捉视频的时序关联和上下文信息，从而提高视频理解的准确性和深度。