基于AI生成描述的多模态全景图像盲质量评价方法与系统

本发明提出一种基于AI生成描述的多模态全景图像盲质量评价方法与系统，该方法包括：基于失真全景图像生成质量描述文本；从失真全景图像中获取包含丰富视觉语义信息的图像块；利用失真全景图像和质量描述文本对视觉语言模型进行预训练，得到预训练后的视觉语言模型；利用预训练后的视觉语言模型对质量描述文本以及包含丰富视觉语义信息的图像块进行提取，得到由图像信息监督的文本特征；通过等距可变形卷积块得到图像块特征；基于图像块特征与由图像信息监督的文本特征得到质量预测分数。本发明发掘了多模态大语言强大的视觉表征能力，在全景图像质量评价数据库中进行了广泛的实验，结果显示了该方法在评价全景图像数据方面具有显著优势。