基于多模态交互学习的全息显示数字人语音识别增强方法

本发明公开了基于多模态交互学习的全息显示数字人语音识别增强方法，包括如下步骤：S1、采集并预处理数据，生成多模态特征矩阵；S2、将多模态特征矩阵输入自适应多模态交互核，生成多模态交互特征；S3、将多模态交互特征输入情绪卷积块，生成语义‑情绪映射特征；S4、将语义‑情绪映射特征输入交叉注意力生成器，输出多模态融合特征；S5、将多模态融合特征输入多模态融合‑分解双向网络，生成经过解耦优化的多模态特征；S6、将多模态特征输入全息‑语音共生优化模块，生成语音识别与全息显示数据；S7、应用自监督学习和对比学习策略进行参数优化，实现自适应调整。本发明利用多模态交互学习方法，实现了全息显示数字人语音识别的增强。