多模态的对话数据痛点洞察方法、装置、设备及存储介质

本申请提供一种多模态的对话数据痛点洞察方法、装置、设备及存储介质，该方法通过第一特征编码层，对多种模态数据进行数据特征提取，并进行数据特征的合并，形成统一的特征表示，能够更全面地捕捉对话数据中的信息，增强了模型的特征表达能力，提高了对用户痛点的识别和理解能力，使得用户痛点洞察更全面、更准确。通过角色信息编码层，提取每条消息对应的角色信息特征，避免对非用户对话数据的痛点识别错误；第二特征编码层对多模态特征和角色信息特征进行协同编码，提高用户痛点洞察的准确性；位置解码层能够识别对话信息特征中的痛点实体及其位置，为每个痛点实体提供位置预测概率值，有助于精确定位痛点。