一种针对全模态大模型的模态对齐方法及其系统

本申请公开了一种针对全模态大模型的模态对齐方法，方法包括：构建和训练全模态大模型，全模态大模型用于统一接收文本、视觉和语音模态的输入，基于大语言模型，根据文本进行多模态对齐；将视觉模态输入全模态大模型，采用序列维度的拼接方法，将视觉特征与文本嵌入进行拼接，进行视觉模态对齐；将语音模态输入全模态大模型，通过语音与文本映射机制实时生成中间文本结果，将语音特征与文本进行映射，进行语音模态对齐。本发明方法推动了全模态大模型在实时多模态交互场景中的性能提升和应用拓展。