摘要
一种基于MAE和ViT模型的的SAR海冰遥感影像分割方法,包括如下步骤:使用未标记AI4Arctic数据集,通过掩码自编码器MAE对视觉Transformer模型进行预训练,图片切分成补丁后随机掩码,采用正弦余弦位置嵌入对可见补丁进行位置编码,得到预训练的ViT模型;从AI4Arctic原始NetCDF冰图数据中提取海冰浓度SIC、海冰发展阶段SOD、和浮冰大小FLOE三种分割标签,将单通道灰度图转化为三通道PNG图像,作为微调数据集,以端到端的方式进行编码器‑解码器架构的微调训练,训练中不冻结任何权重,得到以SIC、SOD和FLOE为分割目标的多任务ViT预测模型。本发明的ViT可更好地捕获SAR图像特征,提高海冰分割的准确性,并可显著降低对训练算力的需求,以及对数据标注的依赖,提高模型训练的速度。
技术关键词
遥感影像分割方法
前馈神经网络
编码器
注意力机制
解码器架构
数据
补丁图像
多任务
通道
标签
像素
编码向量
标记
计算误差
非线性
系统为您推荐了相关专利信息
电池浆料
前馈神经网络
分散设备
自动上料器
轨迹
辅助诊断系统
辅助诊断方法
视觉问答模型
视觉特征
修复术用