摘要
本发明公开了基于大数据和深度学习的文本数据处理方法,其步骤包括构建文本大数据集,收集文本数据存储,并设置数据收集层参数,数据收集层负责获取来自多种来源的不同格式文本信息,使用数据预处理器,整理原始输入文本并完成标准化转换,选用特征提取器,将预处理后文本提取生成高质量特征表示,并生成标签,设置分类判定室,并在分类判定室内设置分类器集群,每个子分类器专注于某一类别的细粒度识别,对特征提取器生成标签进行识别对比,设置查询引擎,允许用户自定义复杂的筛选条件和排序逻辑,汇总统计,借助高速通道返回给前端界面展示成果报告。本发明属于数据处理领域,具体是指基于大数据和深度学习的文本数据处理方法。
技术关键词
文本数据处理方法
数据预处理器
大数据
特征提取器
生成标签
分类器
BERT模型
文本特征提取方法
分布式数据库技术
NLP技术
数据存储
神经网络模型
集群
资源共享
跨节点
生态系统
逻辑
主节点
系统为您推荐了相关专利信息
产品包装
图像块特征
编码向量
图像处理单元
图像特征提取
智能传感器
数字孪生模型
林区
大数据分析技术
三维虚拟模型