摘要
本发明公开了一种基于图文融合的多模态试题知识点标注方法,系统、设备和存储介质,属于自然语言处理技术领域。本发明将试题数据通过自监督辅助的双流试题特征提取网络进行特征提取,获取试题的文本特征向量和图像特征向量;将文本特征向量和图像特征向量输入双阶段跨模态对齐网络进行对齐,得到对齐文本特征向量和对齐图像特征向量;将对齐文本特征向量和对齐图像特征向量输入差异感知融合网络,得到融合向量;将融合向量、文本特征向量和图像特征向量进行加权计算得到试题特征向量;将试题特征向量输入知识点标注网络,得到知识点标签,对题目进行标注。本发明能够提高知识点标注的准确性和效率,还能够为教学服务提供更加精准和个性化的支持。
技术关键词
文本特征向量
图像特征向量
知识点标注方法
知识点标签
特征提取网络
跨模态
样本
多模态
数据
图像特征提取
阶段
可读存储介质
标注系统
变量
对齐模块
处理器
注意力
系统为您推荐了相关专利信息
特征提取网络
人脸检测方法
注意力机制
特征融合网络
卷积特征
数据交互模块
特征提取模块
融合特征
远程视频监测
节点