基于课堂场景下幻灯片信息辅助多模态语音识别的方法

本发明涉及一种基于课堂场景下幻灯片信息辅助多模态语音识别的方法研究，属于语音识别任务领域。首先，制定包含学科相关关键字的学科名称、在线课程、学段、年级等基础信息，用于构建精确的搜索条件。接着，通过视频搜索模块，系统在平台资源中进行视频检索，获取目标教育视频资源。之后，下载视频并进行预处理，包括幻灯片文字提取和候选片段生产，并对数据进行清洗和格式化，确保数据的高质量。最后，经过预处理的文本和音频数据生成语料库系统数据，采用语音识别模型进行音频数据的识别。本发明通过结合幻灯片内容与语音识别技术，有效提升复杂场景下的语音转录精度，具有重要的教育应用价值。