一种基于层次化选择框架的视频问答建模方法

本发明公开了一种基于层次化选择框架的视频问答建模方法，其特征在于，首先进行视频数据和文本数据预处理，得到视频片段特征、物体特征、物体特征、问题特征、问题词特征和候选答案特征作为视频问答模型的输入；根据时间跨度和空间跨度从大到小层次化地选择视频片段特征、视频帧特征和物体特征，然后与问题特征进行特征融合，实现对答案的预测。本发明方法可以和不同的预训练模型结合训练与微调，即插即用；能够层次化地选择与问题相关的视频片段、视频帧和物体特征，实现问题相关关键特征的提取，以及对无关冗余信息的过滤。