摘要
本发明公开了一种多模态与多任务联合的光场图像盲质量评价方法,包括:获取光场图像的伪视频序列;对所述伪视频序列进行处理,生成视觉特征向量,其中,所述视觉特征向量用于识别畸变类型;利用对比语言‑图像预训练CLIP模型,获取所述光场图像的文本特征向量;计算所述视觉特征向量和文本特征向量的余弦相似度;将所述余弦相似度转换为质量等级概率,基于所述质量等级概率和所述畸变类型,获取图像质量评分。本发明充分利用了光场图像的视觉特征和语言特征的多模态融合,通过模型参数共享与损失权重优化,显著提升了光场图像质量评价的准确性。
技术关键词
文本特征向量
评价方法
多任务
视觉特征
多模态
子孔径图像
序列
视频
数值
编码
矩阵
参数
系统为您推荐了相关专利信息
多模态特征
交叉注意力机制
融合特征
计算机可读指令
组合模块
语音导航系统
多任务神经网络
导航模块
语义
动态规划技术