在使用基础模型处理查询中生成并实现上下文简档

上下文分析系统从用户接收查询。上下文分析系统生成一个或多个上下文简档，并且为每个上下文简档生成针对基础模型的提示。上下文分析系统分析每个上下文简档并且生成相关性得分。上下文分析系统基于相关性得分来选择上下文简档之一。在一些示例中，上下文分析系统与生成的上下文相结合迭代地确定处理查询的预测时延和相关性，并且基于预测时延和/或相关性，使用基础模型(诸如大语言模型(LLM))来处理查询。