一种基于多模态交互的家教问答方法及装置

本发明公开了一种基于多模态交互的家教问答方法及装置，包括：首先通过采集用户的视频、音频及主动输入数据，对这些多模态数据进行编码处理，生成对应的特征向量。这些向量被输入到一个预先训练并经过教育领域数据微调的多模态大模型中，以获取针对当前问题的执行策略。最后，基于该策略生成针对性的教学答复内容。如此设计，充分利用了多模态信息，提高了家教问答系统的交互性和教学效果。