监测生成式模型质量

公开了一种使用专家系统来监测和评估大语言模型中的质量的系统。该系统可包括将提示与专业领域相关联的提示库。该系统从库中选择提示，并且对比第二响应对第一响应进行评估，所述第一响应由大语言模型针对一组提示来生成，所述第二响应由大语言模型的经修改的版本对该组提示来生成。该评估使用与针对该组提示的专业领域相关联的专家系统。如果系统确定评估指示满足劣化准则，则系统可采取补救动作。该系统提供了一种有效方式来评估不满足所需标准的经修改的语言模型并阻止该经修改的语言模型的使用。