AI生成学术总结能力的评测方法、装置、设备及介质

本申请涉及一种AI生成学术总结能力的评测方法、装置、设备及介质，其方法包括：获取学术文献的原文全文以及参考摘要；采用待测试生成式AI模型，根据所述原文全文生成检测摘要；对所述检测摘要进行论述单元分割和功能角色分类得到检测信息，以及对所述原文全文或参考摘要进行论述单元分割和功能角色分类得到参考信息；确定所述参考信息与所述检测信息之间各个类别维度的匹配程度分值；对各所述类别维度的匹配程度分值进行加权求和，得到评测能力总分值。本申请考虑了学术型总结特有的结构和特征,提高了评价生成式AI模型的学术文献总结能力的准确度，为生成式AI模型的学术文献总结能力的评测提供了实用性的工具。