摘要
本申请提供了一种文本处理方法、装置、设备、存储介质及产品。方法包括:响应于文本处理请求,对待处理文本进行目标类型的词语提取,得到目标成分词语;对待处理文本的全部字符进行下标标记,得到与目标成分词语对应的目标成分词下标序列;基于预设的扩展下标数量阈值,对目标成分词下标序列进行至少一次下标扩展;在每一次下标扩展得到扩展词下标序列之后,对目标成分扩展词语进行归一化处理,得到包含目标成分词的归一化术语和与归一化术语对应的目标标准化词;基于归一化术语和目标标准化词,对待处理文本进行文本处理,得到处理文本。本申请通过针对性地提取目标类型的词语,以及术语归一化等处理,能够提高词语归一化的处理效率和准确性。
技术关键词
词语
术语
文本处理方法
计算机可执行指令
序列
语义
大语言模型
文本处理装置
字符
编辑
归一化模块
格式
扩展模块
标记
可读存储介质
存储器
处理器
节点