基于多模态大模型与目标检测的开放式问题自动评分方法及系统

本发明公开了一种基于多模态大模型与目标检测的开放式问题自动评分方法及系统，包括：获取包含开放式问题答案的试卷图片，并利用多模态大语言模型进行端到端评分；利用基于DETR的目标检测器对试卷图片进行处理，提取关键文本信息并生成对应的image token序列；将image token序列与关键文本信息输入到多模态大语言模型中，通过跨模态注意力机制进行模态融合，得到融合后的表示；利用强化学习优化的提示模型生成提示词，并将提示词与融合后的表示结合，输入到评分模型中，得到评分结果。本发明能够显著提升开放式问题自动评分的准确性和效率。