一种同步语音与手语展示的多模态交互方法及装置

本发明涉及一种同步语音与手语展示的多模态交互方法及装置，属于语音图像数据处理技术领域，其中，该同步语音与手语展示的多模态交互方法包括：基于手语语义特征向量和语音韵律特征向量之间的语义差异损失确定距离度量，基于距离度量和DTW算法对手语语义特征向量和语音韵律特征向量进行时间同步；将情感特征向量与时间同步后的手语语义特征向量和语音韵律特征向量融合，生成多模态特征序列；基于多模态特征序列生成手语动作、面部表情和唇形，控制数字人进行展示。本发明在保证数字人手语动作与语音输出一致的同时表达了情感信息，提高了用户体验。