一种面向轨道交通的视觉大模型高效微调及语义分割方法

本申请公开了一种面向轨道交通的视觉大模型高效微调及语义分割方法，涉及人工智能深度学习领域中的图像特征处理、视觉大模型微调及语义分割领域，该方法构建轨道运行环境语义分割数据集，并利用轨道运行环境语义分割数据集训练视觉大模型；通过掩码自编码器提取轨道交通图像高维多尺度维特征；将高维多尺度特征输入至记忆注意力模块，得到交叉注意力计算结果；根据提示编码，利用视觉大模型解码器对编码后的图像特征进行掩码解码，确定目标指针列表并初始化掩码解码器的权重，调整视觉大模型，识别待测轨道运行环境图像，实现轨道图像的语义分割。