基于视觉和词目特征预训练对齐的手语翻译方法和装置

本发明公开了一种基于视觉和词目特征预训练对齐的手语翻译方法和装置，属于手语翻译技术领域，包括：利用视觉编码器提取手语视频的视觉特征，利用文本编码器提取词目文本特征，基于视觉和词目文本特征进行对比学习得到预训练后的视觉编码器；对文本解码器进行词目文本掩码预测预训练；将预训练后的视觉编码器和文本解码器构建为手语识别模型以从手语视频中识别得到词目文本序列；将域内预训练后的大语言模型接入手语识别模型构建为手语翻译模型并联合微调，以将词目文本序列翻译为自然语言文本。本发明能实现更加高效、准确和可靠的手语识别与翻译，应用于智能手语翻译、无障碍通信、手语教育等领域，为听障群体提供更精准、自然的语言交互体验。