摘要
本发明公开一种动态环境下视觉惯性里程计及其设计方法和系统,方法包括:获取环境中的视觉信息;对所述视觉信息进行识别,并将识别结果作为交互式提示词进行传递;根据所述交互式提示词,使用Mobile SAM模型进行特定区域的语义分割,得到当前图像帧中的潜在高可能性动态区域;根据潜在高可能性动态区域,结合原始图像帧进行特征点提取与追踪,识别图像帧中剩余静态区域中的特征点并进行光流追踪;根据追踪到的特征点,结合IMU预积分进行定位与相机姿态估计的计算。本发明通过结合目标检测技术和MobileSAM技术进行高可能性动态物体的去除,使得可使用一种通用的模型在不同的场景下工作,在保持系统的准确性和鲁棒性的同时,节省了在不同环境中使用时的训练成本。
技术关键词
视觉惯性里程计
相机姿态估计
特征点
匈牙利算法
图像
匈牙利匹配算法
语义
通信接口
动态物体
卡尔曼滤波
设计系统
处理器
存储器
计算机
指令
坐标
识别模块
精度
系统为您推荐了相关专利信息
手势关键点
单目摄像头
车载空调控制方法
识别用户手势
手势动作控制
样本生成方法
多模态
图像嵌入
非暂态计算机可读存储介质
生成机制
卷积神经网络模型
量化检索方法
视频特征向量
图片
视觉特征
内容审核模型
标签
多模态
文本编码器
图像编码器
血流动力学参数
图像分割模型
交叉注意力机制
混合损失函数
分支