一种与音频信息对齐的长视频理解增强方法及装置

本发明提供一种与音频信息对齐的长视频理解增强方法及装置，解决了现有技术中存在的对视频数据进行处理时，未考虑视频中的音频信息以及大语言模型的训练和推理的成本大的问题。1）通过交叉注意力模块，实现了在增强视频时空特征融合的同时也减小了视频画面特征的序列长度，进一步减小了训练成本；2）通过编码视频中的音频信息并下采样至视频画面特征的序列长度，实现了视频中音频模态与对齐；3）将时间维度对齐的音频模态与画面模态相加，进行了信息的融合。将音频模态经过下采样与间隔选取的视频画面模态长度进行对齐，保留了全部信息。然后与画面模态相加，补齐了画面模态中因为间隔抽帧而造成的信息缺失问题。