基于多模态变分自编码器的水果品质智能分级系统及方法

本发明提供了一种基于多模态变分自编码器的水果品质智能分级系统及方法，包括通过获取水果的不同光照下的图像，采用ViT‑Base模型提取RGB图像的全局语义特征；采用轻量级深度可分离卷积网络提取NIR图像的局部光谱特征；对可见光分支和近红外分支输出的特征分别进行潜在空间映射并进行重参数化采样获取潜在变量，计算通道注意力权重，通过变分推断层对双模态潜在分布进行KL散度约束对齐，并基于通道注意力机制动态分配融合权重，生成跨模态融合特征，输出融合特征；对融合特征进行多任务优化学习，基于任务相关性矩阵调整损失权重；输出糖度、水分及成熟度的联合预测结果。本发明提高品质检测的精度和效率；具有更高的鲁棒性。