摘要
本发明涉及光流估计技术领域,具体而言,涉及一种基于语义分割的显示光流估计方法。具体步骤为:以RAFT模型为基础建立光流估计模型;使用SAM图像分割模型预训练光流估计模型网络中的图像特征提取部分,通过所述预训练对光流估计模型网络中的图像特征进行处理与增强,并获得处理与增强后的图像特征;建立损失函数对处理与增强后的图像特征进行颗粒度微调,本发明对输入图像中不同类别的目标的边界区域进行区分;使得同一类目标的像素具有最大的匹配度,显式的告知网络目标的边界,有效的避免目标粘连问题,同时本发明引入了两种不同的损失函数,有效解决了将原始的SAM图像分割模型直接用于光流估计模型时分割粒度不同而拥有不同数量目标问题。
技术关键词
光流估计方法
图像分割模型
语义
图像特征提取
注意力解码
匹配模块
解码器
矩阵
编码器
网络
像素点
基础
图片
参数
数据