一种基于唇部动作的政务场景多模态语音交互方法

本发明涉及政务服务技术领域，具体涉及一种基于唇部动作的政务场景多模态语音交互方法，交互方法包括：采集人脸信息，自动唤醒设备，用户进行交互；对阵列麦音频信号进行增强和定位；实时采集用户的语音输入，利用语音处理算法提取语音特征；捕获用户的唇部动作视频，实时分析唇部的形态变化和口型轮廓；将语音特征和唇部运动特征进行综合分析，形成综合的用户交互信息，进行多模态信息融合；基于多模态信息进行语音和唇部动作进行协同分析与识别；基于采集到的音频信号，传输给到NLP大模型进行需求匹配；建立高精度的数字人模型。本发明通过对面部表情细节的捕捉，能实现在复杂环境下高效地进行识别，且识别准确性高。