摘要
本申请公开了一种数据处理方法、装置、设备、介质及产品,涉及人工智能技术领域,所述方法包括:响应于接收到输入内容,对所述输入内容进行分词,得到各目标词元;基于预设哈希表对所述各目标词元进行标注,得到标注结果;根据所述标注结果对所述各目标词元进行筛选,得到目标内容,通过预设哈希表对分词得到的各目标词元进行标注,可以确定输入内容中的无价值词语,根据标注结果对所述各目标词元进行筛选,得到目标内容,可以确保目标内容中不包含无价值词语,减少了目标内容中的词元数量,进而可以节省后续处理目标内容的计算单元开销。
技术关键词
数据处理方法
词语
哈希表
分词
大语言模型
计算机程序产品
索引
数据处理设备
数据处理装置
人工智能技术
处理器
多线程
语义
可读存储介质
存储器
模块
精度