一种靶场中基于语义的大模型助理优化方法与系统

本发明公开了一种靶场中基于语义的大模型助理优化方法与系统，方法包括：缓存用户调用大模型的输出；将用户的当前输入与缓存历史会话进行相似度比较，若存在满足条件的缓存历史会话，则基于缓存历史会话获取缓存的大模型输出作为答复信息；否则结合用户历史会话与当前会话形成新会话，并基于新会话与缓存历史会话进行相似度比较，判断是否能够获取到缓存的大模型输出作为答复信息；若达到缓存检索结束条件仍未找到超过指定阈值相似度的缓存历史会话，则根据用户当前输入的会话，请求大模型并得到输出，缓存大模型输出。本发明能够提高缓存命中概率和准确性，减少对大模型的调用，提升用户输入的相应时间，降低大模型单点故障的概率。