基于多模态的手语合成服务方法

本发明公开了一种基于多模态的手语合成服务方法，包括以下步骤：S10，进行端‑云协同渲染设置：将边缘端部署为轻量化模型生成基础动作，云端部署为运行MoMask与3D渲染引擎；S20，进行多模态数据采集：通过麦克风采集语音信号，摄像头采集48×48像素面部灰度图像，IMU传感器采集动作姿态数据；S30，将采集的多模态数据进行情感特征提取：进行语音情感识别输出六类情感概率分布，进行面部表情识别输出七类表情概率分布；S40，进行跨模态特征融合：基于置信度加权策略动态融合语音与面部特征，生成3维情感强度向量；S50，进行手语动作生成：通过RVQ分层量化与MoMask Transformer，生成情感适配的3D骨骼序列。