基于多模态大模型的视觉识别定位方法及系统

本发明属于人工智能技术领域，涉及一种基于多模态大模型的视觉识别定位方法及系统，所述方法包括：1)通过对开源视觉定位数据集的数据进行格式处理而形成视觉识别定位的图文对训练数据；2)利用图文对训练数据微调多模态大模型；3)使用微调后的多模态大模型在图文对训练数据上生成多个训练数据识别定位结果；4)从多个训练数据识别定位结果中挑选出唯一的最佳正确结果；5)使用最佳正确结果构建拒绝采样数据；6)利用拒绝采样数据拒绝采样微调所述微调后的多模态大模型；7)利用拒绝采样微调后的多模态大模型生成视觉识别定位结果。其通过引入拒绝采样微调技术，提升了多模态大模型生成正确识别定位的概率，优化了模型生成结果质量。