摘要
本发明公开了一种融合视觉和脑电的个体脑电转换系统、方法及设备,具体涉及脑机接口技术领域,包括:获取并预处理受试者脑电数据及对应的刺激图像;再用图像编码模块和脑电浅层特征抽取模块分别对受试者脑电数据和刺激图像进行编码;固定图像编码器参数,通过多模态融合策略和自适应对比学习更新脑电浅层特征抽取模块参数获得预训练之后的脑电浅层特征抽取模块;获取并预处理受试者对之间的脑电数据;初始化脑电转换器模型参数,载入预训练好的脑电浅层特征抽取模块参数;将源受试者脑电数据输入脑电转换器生成目标受试者脑电数据与真实数据计算时域余弦距离损失、时域均方误差损失和频谱约束损失,更新脑电转换器参数获得最终的脑电转换器模型。
技术关键词
融合视觉
电信号
融合策略
脑电特征
模拟前端电路
模块
跨模态
图像显示单元
信号转换单元
融合脑电
注意力机制
图像编码器
主控单元
斯皮尔曼相关系数
视觉对象识别
多模态
数据
系统为您推荐了相关专利信息
量子随机数发生器
光电转换模块
模数转换模块
后处理模块
光源模块
心率检测模块
电信号
光发射器
信号处理电路
光接收器
特征参数信息
信号处理模块
脑电信号采集模块
接口方法
资源库
火电厂设备故障
火电厂循环水系统
关键词
文本特征向量
信号随时间
组件缺陷检测
电信号
动态时间规整算法
滤除工频干扰
双通道注意力