基于多模态信息融合检测社交机器人的方法、系统、设备及介质

本发明提供一种基于多模态信息融合检测社交机器人的方法、系统、设备及介质，包括：对社交机器人数据集进行多模态特征提取处理，得到用户的文本特征、图像特征、视频特征和关系特征；基于关系特征、用户相似度和用户偏好添加隐藏关系；基于文本特征、图像特征和视频特征，以及所有社交关系构建异质信息网络，得到文本特征异质信息网络、图像特征异质信息网络和视频特征异质信息网络；采用非共享的深度网络模块分别对文本特征异质信息网络、图像特征异质信息网络和视频特征异质信息网络进行学习，得到三种模态特征；使用模态注意力网络聚合三种模态特征，得到用户表征；基于用户表征使用分类器进行预测，将预测结果作为社交机器人的检测结果。