一种基于多模态引导与语言生成器的手语翻译方法

本发明提供了一种基于多模态引导与语言生成器的手语翻译方法，包括步骤1多模态信号采集与预处理；步骤2独立模态编码器设计；步骤3Q‑Former实现跨模态融合；步骤4高阶跨模态语义桥；步骤5推理感知语言生成器；步骤6联合训练机制；步骤7生成式输出与手语翻译，信号输入与跨模态桥向量生成，语言生成初始化与解码器输入，自回归生成过程，连续手语输入与多轮生成，翻译结果输出。基于本发明的技术方案，充分挖掘各模态互补特性，提升手势表达的准确性与稳定性，实现精准的信号到语言对齐，提升生成语言的逻辑性与上下文连贯性，解决手语‑语言转换中常见的歧义与遗漏问题，适用于小样本和零样本手语翻译任务，具备广泛的应用前景。