适用于盲人眼镜的语音、视频和文本的训练方法

本发明公开了一种适用于盲人眼镜的语音、视频和文本的训练方法，包括如下步骤：步骤一，对大语言模型进行视觉‑语言对齐训练，使视觉和语言模态之间建立起初步联系，让大语言模型能理解图像语义并通过语言生成相应描述；步骤二，对大语言模型进行音频对齐训练，将音频信息引入多模态模型，使其具备处理语音输入能力。本发明的有益效果在于通过多模态对齐训练，让大语言模型具备理解图像语义、生成描述以及处理语音输入的能力，为盲人眼镜实现语音、视频和文本处理提供有效训练方法，帮助盲人更好地通过语音等方式感知外界信息。