利用深度学习的烟草行业文档自动分类与存储方法

本发明涉及深度学习技术领域，公开了利用深度学习的烟草行业文档自动分类与存储方法，包括以下步骤：模型选择；模型预训练过程：MLM阶段、动态掩码生成阶段；数据准备与预处理：数据收集、文档格式转换、文本清洗、分词处理、停用词去除、数据增强；模型微调策略：定义任务特定的模型架构、选择合适的损失函数和优化器、参数设置和调整策略；模型微调过程：数据分批处理、早停法；实体识别与标签化；性能评估：数据集构建、性能评估指标、对比模型设置、实验环境；实验结果：文档分类任务、相似文档检索任务、训练和推理时间。本发明通过微调RoBERTa预训练模型，使其具有强大的上下文理解能力、灵活的微调能力、高效的数据处理能力，还改善了用户体验。