基于大模型推理的缓存清理方法及装置

本申请提供一种基于大模型推理的缓存清理方法及装置。该方法包括：监测哈希表缓存池的缓存容量；在哈希表缓存池的当前缓存容量大于或等于预设容量阈值时，获取一个或多个缓存条目对应的访问信息，并根据访问信息，通过预设的缓存清理算法，筛选第一待清理缓存条目；和/或获取一个或多个缓存条目对应的重要性信息，并根据重要性信息，筛选满足重要性清理规则的第二待清理缓存条目；根据第一待清理缓存条目和/或第二待清理缓存条目，清理哈希表缓存池中的缓存，并更新哈希表缓存池的缓存容量。本申请根据缓存条目的访问信息和/或上下文重要性信息，识别并确定被清理的缓存条目，降低缓存冗余和无效数据的堆积，提升缓存管理效率。