一种多模态自适应拾音方法、系统、耳机及存储介质

本发明涉及耳机技术领域，公开了一种多模态自适应拾音方法、系统、耳机及存储介质，方法包括：获取语音数据、噪声数据、骨传导数据及唇动图像数据并进行预处理，得到语音时频图、噪声时频图、骨传导时频图及唇动裁切图；利用环境场景识别模型，确定各数据的权重系数；根据对应的权重系数对语音数据、骨传导数据及唇动图像数据进行加权处理，将加权后的结果输入预设多模态融合模型，得到融合输出数据。本发明通过自适应识别周围环境场景，并根据周围环境场景为不同通道数据分配权重系数，利用权重系数将多个通道数据进行融合得到最终的输出数据，能够在极度静谧至喧嚣高噪声等各类复杂环境条件下均能实现优异的音频捕捉效能。