摘要
本申请实施例公开了文本处理方法、装置及相关设备,可应用于数据处理技术领域。其中方法包括:对多个文本进行分词处理,得到第一词库和第二词库;其中,第二词库中的每个词语的字数均大于第一词库中每个词语的字数;获取由第一词库中的M个词语组成的组合词语;M小于或等于第一词库所包括词语的数量;在组合词语和第二词库相匹配的情况下,删除第一词库中的M个词语,并将组合词语添加至第一词库,得到目标词库;对目标词库中的每个词语进行编码处理,得到每个词语对应的词语编码。采用本申请实施例,有助于提升词语编码的准确性。
技术关键词
词语
文本处理方法
编码向量
计算机设备
元素
文本处理装置
分词
处理器
语义
可读存储介质
存储计算机程序
数据处理技术
计算机程序产品
组合模块
编码模块
存储器
匹配模块
索引
系统为您推荐了相关专利信息
注意力机制
非易失性存储介质
融合卷积神经网络
计算机可读指令
列车运行数据
架构构建方法
信息平台
多模态
数据项
计算机设备
额度评估方法
深度Q网络
行业景气指数
可读存储介质
计算机程序产品