一种基于数据驱动的自然语言处理系统及方法

本发明公开了一种基于数据驱动的自然语言处理系统及方法，涉及自然语言处理技术领域，本发明提取历史中每次自然语言处理时的响应时间和数据特征，计算响应时间和数据特征之间的关联度，筛选出影响原始数据复杂度的复杂特征；利用所有复杂特征的特征函数计算实时原始数据的复杂度；对模型计算量进行分析得到划分节点，构建多级处理路径，针对多级处理路径分别构建自然语言处理模型；计算复杂度和计算量之间的映射关系，设置复杂度阈值，利用强化学习通过验证集对复杂度阈值进行训练优化，设置训练目标；构建动态路由门控函数，选择实时处理路径；构建梯度协同训练机制，利用多条处理路径结合训练优化复杂度阈值。