摘要
本发明属于检测方法技术领域,尤其涉及一种基于领域信息和自定义门控网络的网络谣言实时检测方法。本发明提供一种基于领域信息和自定义门控网络的网络谣言实时检测方法。本发明包括以下步骤:步骤一:采用以词为单位的模型对文本进行编码;通过正则表达式清除文本中的特殊字符,将表情符号转换成对应的文字,添加句首标志[CLS]和分句标志[SEP],得到纯文本;步骤二:对纯文本使用结巴分词进行预分词操作,得到词序列[token1,token2,...,tokeni];遍历该序列,如果tokeni存在于词汇表中则保留,否则使用BERT模型的分词器将其切分为字;将每个tokeni的分词结果按照预分词的词序列顺序拼接起来传入BERT模型,编码后得到一组词向量W=[w[CLS],w1,...,wn,w[SEP]]作为专家模型的输入。
技术关键词
实时检测方法
谣言
BERT模型
通道
编码
文本特征向量
分词
序列
标志
尺寸
网络结构
分类器
单层
数据
关系
参数
系统为您推荐了相关专利信息
机械臂
脉冲
分析方法
拉普拉斯
闭环反馈控制系统
数据挖掘方法
双通道架构
电力公司
数据挖掘平台
资源约束条件
模式识别方法
在线学习平台
矩阵
主成分分析降维
模式识别模型