一种多模态信息增强的水下鱼类图像语义分割方法

本发明涉及水生态监测技术领域，公开了一种多模态信息增强的水下鱼类图像语义分割方法，具体包括：基于图像编码器和文本编码器，分别图像特征和文本特征，通过初始微调和联合微调策略结合低秩自适应技术微调图像编码器和文本编码器；提取颜色特征、纹理特征、形状特征，生成综合特征；基于图像嵌入、前景嵌入和背景嵌入计算目标得分，生成加权特征；进行多尺度特征上采样、上下文信息增强及SAM模型优化，生成水下鱼类图像的最终语义分割结果。本发明通过结合弱监督学习和多通道注意力机制，显著提升了对水下鱼类图像的分割精度和效率。