摘要
本发明公开了基于知识蒸馏与多模态动态融合的自适应问答系统,包括知识蒸馏模块,用于将预训练于通信领域语料的教师模型的知识迁移至轻量化学生模型,通过优化蒸馏损失函数实现模型压缩,损失函数包含教师模型输出的软标签与学生模型输出的KL散度约束;多模态知识融合模块,包括特征提取单元、自适应加权单元、注意力融合单元;自适应推理引擎,包括语义解析单元;动态路径生成单元及冲突消解单元,本发明中的多模态动态融合技术实现设备参数、协议文本与拓扑图的语义对齐,提升了跨模态推理准确率;轻量化学生模型在协议解析任务中,较原模型提升了推理速度。
技术关键词
问答系统
蒸馏
动态
问答方法
协议
多头注意力机制
教师
学生
语义向量
CRF模型
特征提取单元
融合多模态特征
模型压缩
文本
解析单元
答案
优先级算法
系统为您推荐了相关专利信息
出入库管理方法
血液
载具运输
速度
三维网格单元
三维网格单元
转台
调控方法
决策算法
时空注意力机制
动态规划模型
次品
决策方法
序贯概率比检验
区域划分方法
配置优化方法
工业互联网
锅炉运行数据
锅炉参数
模态特征