基于多模态大模型的发电企业作业风险识别方法及系统

本发明公开了基于多模态大模型的发电企业作业风险识别方法及系统，其中方法包括以下步骤：S1，输入构建多模态的发电企业作业安全数据集并进行数据预处理；S2，将数据集输入利用ALBEF大模型架构建的立多模态大模型，并进行预训练；S3，利用训练好的模型识别现场作业安全风险并告警；S4，基于智能体与多模态大模型实现发电企业工作人员作业安全知识问答，向多模态大模型输入作业现场图像和自然语言问题指令，生成答案。本发明可融合作业图像、文本、视频多模态数据进行作业安全风险识别，并适用于安全帽佩戴识别、吸烟识别、明火检测、溢水检测、睡岗识别、打电话识别、人员聚集识别等多种应用场景，提高作业安全风险识别的准确率，提升发电企业的安全生产水平。