融合多模态数据的智慧博物馆虚拟交互方法及系统

本发明涉及数据融合技术领域，具体涉及融合多模态数据的智慧博物馆虚拟交互方法及系统。该方法对单模态中的特征集合进行自注意力机制计算，通过特征向量与局部特征向量的注意力关注程度间关联程度，对特征向量聚类得到特征聚类簇；利用交叉注意力机制对不同模态间的特征聚类簇进行匹配，得到每个特征聚类簇在其他模态的最匹配聚类簇；利用不同模态间的匹配关系进行多模态数据融合。本发明通过自注意力机制结合聚类分割，提高局部特征的精确识别能力，利用交叉模态注意力机制矫正和匹配不同模态的聚簇，减少过度交叉的情况，提高数据融合质量，以提供更丰富和真实的虚拟交互体验。