一种基于超图的跨模态序列验证方法及系统

本发明提出一种基于超图的跨模态序列验证方法及系统，用于评估序列性任务是否按照基于语言的规则准确执行。这种基于超图的序列匹配方法包括：将所述跨模态异质图的节点送入Transformer模型，并将连接关系作为注意力遮罩，生成每个节点的高级表示，所述节点的高级表示包括视频数据的总结节点、文本描述的总结节点以及跨模态总结节点；将所述节点的高级表示输入二分类器，得出二分类预测，完成任务验证。通过创新的超图对齐机制，能够高效地将动作描述与多个视频片段进行对齐，从而提高任务验证的准确性。通过上述技术手段，本发明能够有效提高跨模态任务验证的准确性，尤其在处理复杂多模态和多视频片段的任务验证场景中具有广泛的应用前景。