基于动态场景感知的电力市场大语言模型评价方法及装置

一种基于动态场景感知的电力市场大语言模型评价方法及装置，包括根据电力市场应用场景，建立涵盖理解、生成、安全三个维度的大模型评价体系；构建测试题库，按照多种评测方法对电力市场大语言模型进行评测，在评测过程中基于大模型评价体系赋予三个维度不同的权重，构建测试问题‑场景标签微调数据集，使用微调方法对模型进行场景分类微调，评估微调后模型的场景分类性能，为不同场景分配对应的初始评价维度权重；针对不同场景的需求与差异性，对初始评价维度权重进行调整，根据输入内容判断场景匹配相应的评价维度权重，从理解、生成、安全三个维度进行加权求和，得到评价结果。本发明可以实现对大语言模型在电力领域性能与可靠性的精准评估。