摘要
本申请涉及脑机接口技术领域,尤其涉及一种多模态AI眼镜视觉‑脑电协同控制方法、装置及设备。方法包括:构建多模态数据采集框架,用于采集视觉场景图像和脑电信号,生成对齐数据流,以识别目标特征,生成注意力地图;提取时序特征,识别意图特征;构建特征矩阵,对特征矩阵进行模态对齐,基于模态对齐的对齐结果执行特征融合,生成统一表示;进行时序分割,提取关联特征,基于关联特征构建状态序列,利用状态序列标记转换节点,根据转换节点生成动态模式;利用动态模式进行信息分析,确定模态权重,基于模态权重执行特征选择,对特征选择结果进行分类映射,生成控制序列;根据控制序列生成交互指令,完成对多模态AI眼镜视觉‑脑电协同控制。
技术关键词
脑电协同控制
注意力地图
AI眼镜
多模态数据采集
视觉
时序特征
特征选择
形状轮廓特征
序列
电信号
特征金字塔网络
运动轨迹信息
场景
频谱特征
意图
节点
干式电极
网格
系统为您推荐了相关专利信息
瑕疵检测方法
纸杯
多尺度特征
特征提取模块
融合特征
跌倒报警方法
跌倒报警系统
障碍物
运动检测模块
代表
虚拟对象
关键点检测算法
关键点识别
影像生成方法
坐标
三维点云数据
外观检测方法
可见光图像
图像采集区域
混凝土
智能控制方法
环境感知数据
多模态
多自由度机械臂
激光雷达