消息去重方法、装置、电子设备及存储介质

AITNT
正文
推荐专利
消息去重方法、装置、电子设备及存储介质
申请号:CN202510507295
申请日期:2025-04-22
公开号:CN120639739A
公开日期:2025-09-12
类型:发明专利
摘要
本公开一个或多个实施例提供一种消息去重方法、装置、电子设备及存储介质。所述方法包括:将待去重消息输入文本嵌入模型,得到嵌入向量;所述文本嵌入模型包括BGE‑M3子模型,所述嵌入向量融合所述待去重消息的语义特征;将所述嵌入向量输入哈希值生成模型,得到所述待去重消息的哈希值;根据所述哈希值进行筛选,得到经过消息粗去重的中间消息;对所述中间消息进行基于语义相似度的消息精去重,得到最终消息。通过本公开,可以有效提高消息去重准确度和效率。
技术关键词
消息去重方法 文本 语义特征 双曲正切函数 去重装置 白名单 电子设备 多层感知机 线性单元 标签 子模块 频率 计算机 处理器 存储器 分词
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号