一种唇语识别及语义理解系统和方法

本发明公开了一种唇语识别及语义理解系统，涉及自然语言处理技术领域，包括文本特征提取模块、唇语视频特征提取模块和大语言模型解码模块，文本特征提取模块、唇语视频特征提取模块分别和大语言模型解码模块通信连接；本发明还公开了一种唇语识别及语义理解方法，包括：S100、文本融合特征提取，S200、唇语视频特征提取，S300、语义理解，步骤S100和步骤S200为并列关系。本发明能够在不同场景、不同人群中得到广泛应用，满足多样化的实际需求，推动了唇语识别技术的发展。