一种基于层级扩张注意力与多模态语义调和的无注释手语翻译方法

本发明提供了一种基于层级扩张注意力与多模态语义调和的无注释手语翻译方法，涉及手语翻译技术领域。本发明对手语视频帧提取视觉特征并叠加位置编码，送入扩张注意力视觉编码器生成层级编码特征；训练阶段采用多模态语义调和损失对视觉特征与文本嵌入进行对齐；在文本解码器中执行交叉注意力融合并输出目标语言概率分布，结合交叉熵损失优化网络，最终生成译文序列。本发明实现无人工注释条件下对复杂手语语义的准确翻译。