摘要
本公开一个或多个实施例提供一种消息去重方法、装置、电子设备及存储介质。所述方法包括:将待去重消息输入文本嵌入模型,得到嵌入向量;所述文本嵌入模型包括BGE‑M3子模型,所述嵌入向量融合所述待去重消息的语义特征;将所述嵌入向量输入哈希值生成模型,得到所述待去重消息的哈希值;根据所述哈希值进行筛选,得到经过消息粗去重的中间消息;对所述中间消息进行基于语义相似度的消息精去重,得到最终消息。通过本公开,可以有效提高消息去重准确度和效率。
技术关键词
消息去重方法
文本
语义特征
双曲正切函数
去重装置
白名单
电子设备
多层感知机
线性单元
标签
子模块
频率
计算机
处理器
存储器
分词