一种基于多模态视觉大模型的导盲场景识别方法

本发明涉及计算机视觉领域和图像处理领域，特别涉及一种基于多模态视觉大模型的导盲场景识别方法。包括数据获取，采集典型导盲场景的图像或视频数据，标注后构建数据集，引入图像提示机制并划分训练集和测试集；构建多模态视觉大模型，包含图像编码、语义提示编码、视觉语言融合、场景分析语义解码模块；对模型测试与调优，采用多任务损失函数优化；构建导盲辅助系统，集成图像采集、视觉理解、语音播报功能，实现闭环流程。本发明解决了现有导盲识别技术目标依赖性强、通用性差、语义理解能力弱的问题，支持复杂场景精准识别与语义反馈，提升导盲系统智能化水平与环境适应能力。