摘要
一种兼顾自定位和目标导向的多模态感知导盲系统,它属于感知导盲技术领域。本发明解决了现有不依赖先验地图的导盲设备的适应性差的问题。本发明的系统规避了不依赖先验地图的导盲设备在面对特殊工况下失效的风险,通过用户与系统的交互能够为盲人提供自然的环境描述与导航反馈,实现了让盲人熟悉一个陌生房间并轻松完成室内导航任务的目标。本发明的策略从用户的实际需求出发,帮助用户快速熟悉陌生环境,帮助盲人完成室内导航任务,当获取的图像中不包含目标时仍然可以输出导航指令,保证导航的连续性,解决了无先验地图的导盲设备在使用过程中无法兼顾自定位和目标导向的问题,提高了导盲设备的适应性。本发明方法可以应用于感知导盲技术领域。
技术关键词
导盲系统
多模态交互
路径规划算法
列表
模块
深度学习模型
大语言模型
语音
文本
节点
导盲技术
图像
坐标
指令
对象
语句
地图
终点
唤醒系统
系统为您推荐了相关专利信息
紧急停止方法
紧急停止系统
继电器
人机交互智能
闭环监控
仿真软件
数据传输方式
仿真模型
操作系统
数据传输模块
耗材芯片
电子模块
时钟
通用输入输出端口
数据总线
分区方法
邻域
PCB电路
AltiumDesigner软件
节点
模型构建方法
融合特征
图像特征集
数据采集单元
模态特征