摘要
本申请公开了异常行为检测方法、装置、计算机设备及存储介质。方法包括:获取聊天样本数据,提取文本特征数据、语音特征数据以及图片特征数据;通过第一交叉特征生成器得到第一损失值;通过第二交叉特征生成器得到第二损失值;通过多模态特征融合模块对文本特征数据、语音特征数据以及图片特征数据进行特征多模态融合处理,得到第三损失值;根据第一、第二以及第三损失值对多模态大模型进行训练,训练完成后得到异常行为检测模型;获取待检测聊天数据,将待检测聊天数据输入异常行为检测模型,得到异常行为检测结果。本申请可应用于金融科技、医疗健康养老等业务场景中,在相关场景的客服系统中,通过本方案可提高异常行为检测准确率。
技术关键词
语音特征数据
多模态特征融合
文本
特征提取模块
图片
语音特征提取
标签预测值
样本
语音标签
转换器
计算机设备
处理器
客服系统
医疗健康
处理单元
系统为您推荐了相关专利信息
检索策略
地理实体
生成方法
问答对数据
检索方法
实体
文本
回复生成方法
计算机可读指令
计算机程序产品
超像素分割算法
表征方法
盾构隧道结构
掩码矩阵
掘进断面
预训练语言模型
指令优化
问答语料
答案
数据格式
神经网络预测方法
记忆单元
记录单元
融合特征
注意力机制