改进视听问答

本公开描述了用于改进视听问答的技术。机器学习模型被配置用于视听问答(AVQA)。机器学习模型包括第一子模型，第一子模型被配置为捕获语义音频信息并且输出音频空间特征图机器学习模型包括第二子模型，第二子模型被配置为提取视觉特征xvs和音频特征xas并且还被配置为获取问题向量xq。机器学习模型包括第三子模型，第三子模型被配置为在粒度级别捕获视听对应关系。平衡的AVQA数据集被创建。平衡的AVQA数据集在每个问题类别中包括平衡的答案分布。机器学习模型被训练用于至少使用平衡的AVAQ数据集的子集来回答与视频中的视觉对象、声音及其关联性有关的问题。