摘要
一种基于多专家机制的篇章结构分析系统,包括字级编码模块、基于多专家机制的EDU级编码模块、解码上下文学习模块、基于多专家指针网络的解码模块、基于大模型生成语料的预训练模块和基于人工标注篇章语料的微调模块。本发明从系统结构和训练数据两方面进行优化,在系统结构方面,在编码与解码阶段引入多专家机制,使系统能够根据输入文本所属领域自动选择匹配的专家进行处理,从而更有效地利用不同领域的语料,提升对异质语料的适应能力,能够提升系统的泛化能力;在训练数据方面,借助大语言模型自动生成多个领域的大量篇章标注数据,显著增强语料的领域多样性,为多专家的有效训练提供了数据支撑,进一步提升了系统的泛化能力。
技术关键词
分析系统
编码模块
语义
指针
解码模块
多层前馈神经网络
大语言模型
文本
预训练语言模型
注意力机制
表达式
识别工具
索引
提升系统
阶段
系统为您推荐了相关专利信息
训练语料集
大语言模型
实体
交互方法
计算机可读程序
铁路供电设备
受电弓
集成传感器
AI图像识别
智能分析系统