基于跨视角语义对齐的第一人称视频问答方法及系统

本发明涉及基于跨视角语义对齐的第一人称视频问答方法及系统，属于视频问答技术领域，方法包括：收集并筛选第三人称视频‑文本配对数据，训练第三人称视频编码器；训练第一人称视频编码器；对Ego‑Exo4D数据集进行筛选、扩展，构建预训练数据集Ego‑ExoClip，并进一步训练第三人称编码器；构建映射函数，学习第三人称数据和第一人称数据之间的变换关系；通过跨视角特征融合策略，将第一人称视频特征与估计的第三人称特征在多模态公共空间中深度融合，生成统一的多模态视频语义特征表示，结合用户输入的问题与融合后的多模态视频特征，生成答案回复。本发明通过任务统一化设计显著增强了模型在各种视频问答任务上的性能。