基于预训练模型和金字塔图融合的多模态人格预测方法

本发明提供一种基于预训练模型和金字塔图融合的多模态人格预测方法及装置，涉及情感计算技术领域。该方法包括：根据原始视频以及预设的人格描述词列表，通过预训练模型进行单模态特征提取，获得三类单模态特征；基于相似性函数，根据三类单模态特征进行两单模态间相似性计算，得到双模态关联特征；根据文本数据和三类单模态特征，通过特征编码器进行特征拼接，获得三模态组合特征；根据三类单模态特征、双模态关联特征和三模态组合特征通过金字塔图融合网络进行特征融合，获得多模态融合特征；输入双层感知机进行人格预测，获得人格预测结果。本发明是一种集成预训练模型以及金字塔图融合网络的准确度高的多模态人格预测方法。