多模态视觉融合定位与交互装置及其协同工作方法

本发明提供了一种多模态视觉融合定位与交互装置及其协同工作方法，包括：天花板SLAM模块，以天花板上的目标固定特征为SLAM的锚点构建俯视坐标系；水平双目动捕模块；异构相机协同模块，用于协同配合天花板SLAM模块与水平双目动捕模块；嵌入式AI处理模块，用于人体骨架实时监测的轻量化HRNet模型；使用改进的ORB ‑ SLAM3框架进行天花板上的目标固定特征优化提取的SLAM层，以及通过扩展卡尔曼滤波器融合惯性测量数据与双目视觉里程计的动态校准层。本发明实现了更为精准、高效且具有广泛应用前景的多模态视觉融合定位与交互功能。