多模态神经学习网络模型、方法、设备及介质

本申请提出一种多模态神经学习网络模型、方法、设备及介质，对脑电信号及原始图像进行编码后，得到脑电特征及图像特征，然后计算两者的相似度，完成对脑电信号及原始图像信号的对比学习，对原始图像的编码包括基于原始图像得到嵌入表示级的第一初级特征、基于滤波图像得到嵌入表示级的第二初级特征、初级特征的融合以及推理，这样，通过双分支图像路径分别提取原始图像与滤波图像的嵌入表示级初级特征，并采用注意力门控机制进行嵌入表示级融合，实现了图像模态结构的自适应调整，克服传统图像编码单路径的问题，有效增强视觉模态的对齐能力。