基于大语言模型与多模态信息融合的课堂教学分析方法

本发明涉及课堂教学分析领域，具体涉及一种基于大语言模型与多模态信息融合的课堂教学分析方法。方案包括：通过ASR模型处理课堂音频，输出N‑best候选列表，其中每个候选列表包含置信度评分及时间对齐信息，通过设定置信度阈值筛选N‑best候选中低置信度列表，仅保留高置信度候选；对N‑best候选列表进行修正，得到修正后的SRT；将修正后的SRT文档分为有效语音转写时段、嘈杂时段和安静时段；对课堂视频进行抽帧并标注教师行为和学生行为，通过标注数据对传统视觉模型和视觉大模型进行训练，然后进行检测，得到师生行为时间段，作为SRT分析的辅助进行多模态数据分析。本发明适用于课堂教学分析。