一种应用于电力行业岗位测评的多模态AI方法及识别系统

本发明涉及一种应用于电力行业岗位测评的多模态AI方法及识别系统，属于电数字数据处理技术领域，包括如下步骤：步骤1)：训练出满足考题场景需求的‌SAM模型和ASR模型；步骤2)：在‌SAM模型中，构建目标识别类原子组件、状态识别类原子组件和位置变化类原子组件组合的视觉类组件；步骤3)：在ASR模型中，构建语音类组件；步骤4)：将视觉类组件和语音类组件进行组合，实现智能化的岗位考核与评价；本发明有益效果：‌SAM模型识别出的图像或视频与ASR模型识别出的语言文字通过考核评价模块进行考核评价，提高了智能化、数字化的岗位考核与评价的效率与质量。