大语言模型生成稳定性评估方法、计算机设备及存储介质

本发明提供一种大语言模型生成稳定性评估方法、计算机设备及存储介质。本发明通过润色对原始问题进行扩充，得到一个更全面的测试集，再通过设置不同的temperature和top‑k的超参来生成答案，得到一个全面的评估的答案。然后，通过使用向量化计算聚集度的方式，保证了评估的语义泛化性，通过聚集度公式得到了评估的稳定性结果，通过置信度指标得到了稳定性结果的置信度。可在比现有技术更广泛的范围内真正提高和评价大语言模型的生成稳定性。