基于多模态语义融合的全景图像质量评价方法和装置

本发明涉及全景图像质量评价领域，具体为基于多模态语义融合的全景图像质量评价方法和装置。所述方法包括根据目标失真全景图得到文本语义特征和全局视觉语义特征，再通过上述两个特征得到多模态全局语义特征；将目标失真全景图分为若干视口图，再提取每个视口的局部视觉语义特征，通过每个视口的局部视觉语义特征与文本语义特征得到每个视口的局部视觉语义特征，再将所有视口的局部视觉语义特征进行拼接，得到多模态局部语义特征；将多模态全局语义特征和多模态局部语义特征进行拼接，得到质量评价分数。以此方式，可以利用视觉语义特征和文本语义特征进行跨模态融合，能够获取丰富的模态间的语义交互关系，提高模型特征表示能力。