一种基于多模态小样本学习的场景分割方法及系统

本发明公开了一种基于多模态小样本学习的场景分割方法及系统，涉及计算机视觉技术领域。该方法包括步骤：获取自动驾驶视频流，提取视频流中的图像帧；利用数据集对场景分割模型进行训练和测试，得到训练后的场景分割模型，其中，利用轻量级骨干网络对数据集进行语义特征提取，之后利用场景分割模型对语义特征提取后的图像帧进行双轴自注意力特征提取和信息校正处理，最后将校正后的多源特征进行融合，得到预测输出图；利用训练后的场景分割模型对待分割的实时视频流进行场景分割处理。本发明能够在保障模型轻量化的同时有效增强了对复杂场景下语义信息的理解能力，显著提升了小样本条件下的分割精度和泛化能力。