一种基于分布式系统的数据推理方法及相关设备

本说明书提供了一种基于分布式系统的数据推理方法及相关设备。分布式系统包含多个节点，多个节点各自存储了不同的数据分片。该方法包括：获取多个节点从各自检索出的数据集中选取出的目标数据；任一节点检索出的数据集中包含在该节点存储的数据分片中与用户输入的查询信息相匹配的数据；确定多个目标数据与查询信息之间的匹配度，并从与多个目标数据对应的多个匹配度中确定出匹配度阈值；多个节点检索出的多个数据集中包含的与查询信息之间的匹配度高于匹配度阈值的数据数量，大于或等于预设的筛选数量；获取多个节点从各自的数据集中筛选出的与所述查询信息之间的匹配度高于所述匹配度阈值的推理数据，基于推理数据辅助LLM模型执行推理任务。