融合多模态数据的模型预训练优化方法及系统

本申请提供了融合多模态数据的模型预训练优化方法及系统，涉及多模态技术领域，方法包括：在语音模态数据与其他模态数据获取后，分别在低分辨率与高分辨率两个尺度进行采样，生成对应的语音向量集合并计算不确定性度量；在第一分辨率尺度上对语音与其他模态进行全局对齐，并将该全局对齐结果传递至第二分辨率尺度执行细化校正，最终回传至第一分辨率尺度，从而形成多重网格式的往返迭代；通过实时监测观测噪声与状态噪声并将其融入不确定性度量，可针对高噪区段在训练时动态降低加权系数，而对低噪或稳定区段赋予更高权重，以强化有效特征；本申请能在多模态场景下自适应抑制噪声干扰并保留语音突变细节，具有更好的鲁棒性与泛化性能。