基于柔性传感和大模型的实时手语翻译系统、方法及装置

本发明提供了一种基于柔性传感和大模型的实时手语翻译系统、方法及装置，设计包括柔性可移动四通道传感条带模块的手环，手语者使用时佩戴手环并执行手语动作，传感等模块采集信号被收集为数据包，由主机模块对其进行解包和翻译，主控模块根据翻译得到数据进行文字显示和音频播放；手语翻译流程包括分别通过不同的编码器对压电和空间位置信号编码，并通过Q‑Former融合结构形成多模态语义表示；利用高阶跨模态语义桥融合并构建语言先验桥向量；最后以Transformer解码器构建推理感知语言生成器。基于本发明的方案，提升信号测量精准度同时降低成本，保障信号连接强度，完整性和稳定性；提升手势识别准度；提高实用性和易用性；增强输出语义连贯性，逻辑性和准确性。