融合多模态特征的双塔实体识别方法、装置、设备及介质

本申请公开了融合多模态特征的双塔实体识别方法、装置、设备及介质，其方法实现，包括：获取待识别文本数据，其包括标签；通过预设提示策略，将待识别文本数据与标签进行级联表示，得到输出序列；基于输出序列，得到契文图像特征、触觉感知特征以及视觉感知特征，并进行特征融合，得到图像稠密特征向量；基于输出序列，预测得到文本稠密特征向量；将图像稠密特征向量以及文本稠密特征向量进行特征融合，得到融合特征；基于融合特征，确定待提取实体的起始边界以及结束边界，以提取待提取实体的实体片段。将孤立的文本和标签进行融合，以阅读理解的视角开展平整实体识别与分类任务，且融合契文、触觉、视觉三种图像特征以增强文本特征挖掘能力。