一种基于物流招聘文本的数据处理系统及方法

本发明涉及一种基于物流招聘文本的数据处理系统及方法，属于文本数据处理技术领域。该系统包括用于爬取物流招聘文本数据的数据采集模块，用于对原始数据集进行预处理和信息实体标注处理的数据前处理模块，用于根据预处理数据集构建并训练BERT模型的模型生成模块，用于进行岗位分析和技能分析的数据后处理模块。本发明通过数据前处理模块原始数据集进行预处理和信息实体标注处理，数据处理系统通过对实体标注的数据集深度学习，能够对剩余数据进行分析，提高物流招聘文本分析效率，节省人力，通过计算“行业‑职能‑岗位‑能力要求”关系网络中节点的度和节点中介度，分析处理过程中，分类主题界定清晰，各岗位能力要求明确。