一种实现人工智能黑盒模型精细决策逻辑与人类认知对齐程度评测算法

本申请涉及机器学习技术领域，公开了一种实现人工智能黑盒模型精细决策逻辑与人类认知对齐程度评测的方法和系统。该方法和系统可以通过分析模型所建模的交互分布,评测模型决策逻辑与人类认知的对齐程度。该方法和系统的实施包括以下步骤:提供输入样本；使用黑盒模型对输入样本进行预测，获得模型的预测结果；基于黑盒模型的输出,对样本的输入单元间的交互作用进行建模，计算输入单元间形成的组合的交互强度，将黑盒模型输出表达成输入单元组合间的“交互效用”；使用基于交互的评测指标，评测模型决策逻辑与人类认知的对齐程度。本发明的优点在于，提供了一种评测人工智能黑盒模型精细决策逻辑与人类认知对齐程度的量化方法，相比于前人研究，可以更好地刻画模型决策逻辑和人类认知的差异，反映模型潜在的表征缺陷。