摘要
本申请公开了一种基于大语言模型增强多模态学习的教学设计处理方法和装置及介质,可应用于人工智能技术领域。本申请通过预设视觉模型进行情绪和行为分析得到情绪和行为分析结果、通过预设语音模型进行语音识别得到语音文本序列,通过微调后第二大语言模型对初始教学设计信息进行分析和调整得到第二教学设计信息,以及通过第二大语言模型结合情绪和行为分析结果和语音文本序列对初始教学设计信息进行分析和调整得到第三教学设计信息,然后通过预设大语言模型对初始教学设计信息、第二教学设计信息和第三教学设计信息分别进行评分,根据评分结果对初始教学设计信息进行更新,从而使得最新的教学设计方案能够与实际情况相符。
技术关键词
大语言模型
教育知识图谱
深度神经网络模型
声纹识别模型
梅尔频率倒谱系数
说话人身份信息
声纹特征
损失函数优化
融合特征
语音识别模型
教学方法
音频
数据
多模态
文本
视频
学生学习状态
多尺度特征提取
系统为您推荐了相关专利信息
视觉
大语言模型
多层注意力机制
表征方法
桥接器
多视角
模型训练方法
视听
音频编码器
视频匹配方法
推荐系统方法
大语言模型
多层感知机
跨模态
成分分析
电气设备运行状态
设备信息管理系统
大语言模型
生成系统
填写系统