一种基于多模态大模型的盲人辅助交互方法、系统及存储介质

本发明公开了一种基于多模态大模型的盲人辅助交互方法、系统及存储介质，属于人工智能技术领域，所述方法包括：获取用户语音指令以及外部环境图像并对获取到的数据进行预处理；将预处理后的数据输入预先训练的多模态大模型，得到环境理解结果；将所述环境理解结果整合为反馈信息进行语音输出，并根据环境特点调整输出语调；其中，所述预先训练的多模态大模型的获取方法包括：获取历史多模态数据；将所述历史多模态数据输入预先构建的多模态大模型，并通过冻结模型中的基础层对训练中的多模态大模型进行微调，得到训练好的多模态大模型，通过多模态大模型融合多模态信息，准确地识别出用户意图和复杂环境中的对应物体，从而反馈出精确的场景描述。