基于感知神经网络的去重方法、装置、设备及存储介质

本申请提供了一种基于感知神经网络的去重方法、装置、设备及存储介质，通过将待入库文本输入整体感知层确定待入库文本的文本宏观特征，并基于文本宏观特征和文本库确定第一比对库；将待入库文本输入关键词匹配层确定关键词匹配结果，并基于关键词匹配结果和第一比对库确定第二比对库；基于待入库文本对第二比对库进行全文检索确定第三比对库；基于预设相似度算法确定第三比对库中是否存在与待入库文本匹配的文本，并在不存在时将待入库文本录入文本库。由此，通过感知神经网络的分层处理模拟人类感知机制，将待入库文本与文本库逐层进行筛选比对以确定是否将待入库文本录入文本库，有效提高了去重的效率和准确度。