一种基于模型耦合的多模态科学实验评估辅助方法及系统

本发明提出了一种基于模型耦合的多模态科学实验评估辅助方法及系统，属于数字实验评估领域，包括：S1、使用采集设备对学生的实验操作过程进行视频采集，将科学实验视频序列上传至流媒体服务器；S2、流媒体服务器对所述科学实验视频序列分别使用姿态评估模型和目标检测模型进行特征提取并进行融合，得到多维特征；S3、根据所述多维特征对科学实验视频序列进行分类和评估；S4、获取实验操作的评分标准文档，并根据实验操作的评分标准文档构建实验评分标准的向量数据库；S5、利用多模态大模型生成实验评估报告；S6、利用实验评估报告对多模态大模型进行迭代优化训练。本申请通过结合视频采集、科学实验视频序列特征提取和分类，实现科学实验的全面自动化评估，不仅能够客观地分析学生的实验操作，还能生成详细的评估报告，大大提高了实验教学的效率和质量，同时通过持续学习不断提高评估的准确性。