一种违规行为检测方法、装置及电子设备

本发明公开了一种违规行为检测方法、装置及电子设备，方法包括：采集聊天数据，对聊天数据进行标注和预处理，得到聊天样本数据；基于聊天样本数据对多模态大模型进行训练，训练完成后得到违规行为检测模型，其中，多模态大模型包括文本特征提取模块、图片特征提取模块、语音特征提取模块、多模态融合处理模块及输出模块；获取待检测的聊天数据，将所述待检测的聊天数据输入所述违规行为检测模型，获取违规行为检测模型的输出结果，根据所述输出结果得到违规行为检测结果。本发明实施例通过大模型和多模态信息融合，从特征空间入手融合了不同模态的信息；能进一步获取判断违规行为的特征信息，提高了客服违规行为检测的准确性。