一种基于深度学习与大模型的手语识别翻译模型训练方法

本申请公开了一种基于深度学习与大模型的手语识别翻译模型训练方法，涉及手语识别技术领域，通过获取录制的聋哑人日常交流中常用的手语视频；将手语视频转化为手语图像；手语图像包括静态手语图像和动态手语图像；从动态手语图像中抽取静态帧图像，并将静态帧图像进行加权叠加，得到加权叠加图像；将静态手语图像和加权叠加图像输入到预先构建的卷积神经网络中，得到离散手语；将离散手语输入到大语言模型中进行合成，得到完整手语；根据完整手语验证卷积神经网络，并得到最终的手语识别翻译模型。利用本申请提供的方法训练出来的手语识别翻译模型可以快速准确的识别出聋哑人的手语信息，更好地提升了与聋哑人的交流效果。