摘要
本发明公开了轮式巡检机器人及其相机运动理解方法与系统,通过数据采集模块实时获取位移、视频流数据及位姿数据;相机运动分类模块对视频帧进行运动分类和视觉检测,输出几何原语与语义原语标签和设备状态检测结果,并映射至参考框架;SfM‑VLM融合推理模块通过SfM算法提取相机运动的几何参数,融合视觉特征后输入VLM模型生成自然语言语义描述;结构化注释模块基于几何原语、语义原语标签和自然语言语义描述生成标签层与字幕层的双轨注释;多模态决策模块融合几何原语与语义原语标签、设备状态检测结果与数据采集模块采集的数据生成巡检决策;解决了动态环境下的运动解耦、目标跟踪、数据注释与多模态决策问题,提升了巡检可靠性与智能化水平。
技术关键词
轮式巡检机器人
数据采集模块
理解系统
相机
生成自然语言
运动
融合视觉特征
生成标签
视频帧
多模态
语义意图
决策
机器人控制指令
视频流
字幕
系统为您推荐了相关专利信息
智能门锁
主控模块
提示系统
提示方法
数据采集模块
混合现实空间
MR设备
同步方法
控制器组件
手势
监测点
形变监测系统
皮尔逊相关系数
异常点
数据预测模型
无人机环境感知
生成无人机
四旋翼无人机
视觉导航控制方法
视觉SLAM算法