数据处理方法、装置、设备、介质及产品

AITNT
正文
推荐专利
数据处理方法、装置、设备、介质及产品
申请号:CN202411694519
申请日期:2024-11-25
公开号:CN119647469A
公开日期:2025-03-18
类型:发明专利
摘要
本申请公开了一种数据处理方法、装置、设备、介质及产品,涉及人工智能技术领域,所述方法包括:响应于接收到输入内容,对所述输入内容进行分词,得到各目标词元;基于预设哈希表对所述各目标词元进行标注,得到标注结果;根据所述标注结果对所述各目标词元进行筛选,得到目标内容,通过预设哈希表对分词得到的各目标词元进行标注,可以确定输入内容中的无价值词语,根据标注结果对所述各目标词元进行筛选,得到目标内容,可以确保目标内容中不包含无价值词语,减少了目标内容中的词元数量,进而可以节省后续处理目标内容的计算单元开销。
技术关键词
数据处理方法 词语 哈希表 分词 大语言模型 计算机程序产品 索引 数据处理设备 数据处理装置 人工智能技术 处理器 多线程 语义 可读存储介质 存储器 模块 精度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号