摘要
本发明公开一种基于视觉语言模型的遥感推理分割方法及系统,旨在提升遥感图像中任意方向目标的分割性能。构建RSReason模型,包括多模态语言模块,联合推理图像和文本生成嵌入分割标记的文本序列;视觉编码器,提取图像的多尺度特征;掩码解码器,融合分割标记和图像多尺度特征生成分割掩码;将评估数据集输入RSReason模型进行训练,对于每一个分割样例利用RAO模块计算RAO损失函数,将目标掩码表示为2D高斯分布,基于Wasserstein距离计算预测与真实掩码分布差异,更新模型参数。经实验验证,RSReason模型在RSReason基准测试中达成新最优性能,在旋转目标分割方面相较现有基线模型显著改进,推动遥感图像分析领域从基于显式对象指示的分割迈向推理驱动的目标定位阶段。
技术关键词
分割方法
图像多尺度
更新模型参数
语言模块
遥感图像数据
协方差矩阵
文本
视觉
多模态
解码器
笛卡尔坐标系
标记
机制
分割系统
数据获取模块
图像分析
图像分割
自然语言
系统为您推荐了相关专利信息
工业设备
标签设备
设备运行状态监测
计算机程序指令
表达式
训练学习系统
强化学习代理
子模块
更新模型参数
输出预警信息
扫描电子显微镜
实例分割方法
掩码矩阵
实例分割网络
注意力
协同仿真方法
水下航行器
MPC算法
制导算法
力矩