一种多模态的直播数据处理方法及装置

本申请涉及互联网直播平台技术领域，尤其涉及一种多模态的直播数据处理方法及装置,包括获取目标直播间的多个模态数据，并用知识图谱将所述模态数据实体化；使用L2范数将实体进行归一化；基于多轮交叉注意力机制，每一轮首先将某一模态作为查询集合，其他模态依次作为键值集合,并使用预先训练的共享矩阵对其进行参数化表示,得到Q,K,V,然后利用激活函数归一化得到交叉注意力权重,最后将注意力分布加权求和得到模态输出，将经过模态输出的嵌入特征拼接起来，形成互补性模态数据，以将多模态的直播数据进行模态融合。综合考虑了关系、时序、属性、图像以及数值等模态信息,并将以上模态共同融合成联合嵌入,有效缓解了实体融合中的模态缺失问题。