聋哑人手语翻译发音系统

本发明涉及手语智能交流技术领域，具体为聋哑人手语翻译发音系统，包括数据采集与预处理模块、手语模型识别模块、动态手势模型模块、语音转换模块。该聋哑人手语翻译发音系统，通过采用广角摄像头智能眼镜视觉采集，无需穿戴设备，结合视频流与热力图通过视觉信息与关键点概率分布互补，减少单一模态噪声的影响，通过3D CNN提取视频时空特征，结合Transformer的自注意力机制捕捉长程依赖，提升手语识别精度，通过标定板计算内参矩阵和畸变系数，修正广角镜头失真，确保手部关键点定位准确，采用YOLOv8分割干扰物体，避免背景噪声影响识别，并利用MediaPipe生成21个关键点热力图，通过高斯核扩散增强对低置信度关键点的容错性，提高模型识别精度。