一种基于多模态融合的面试视频行为特征分析与排序方法

本发明公开了一种基于多模态融合的面试视频行为特征分析与排序方法，包括如下步骤：步骤S1、处理输入的面试视频数据，分别提取视觉模态特征、音频模态特征和文本模态特征；步骤S2、将提取的所述视觉模态特征、音频模态特征和文本模态特征输入至多模态融合网络模型；步骤S3、所述多模态融合网络模型根据输入的特征进行特征融合，再输出多个预设维度的行为特质评分；步骤S4、对所述多个预设维度的行为特质评分进行排序，获得排序结果。本发明可以实现多模态数据的标准化采集、全面特征提取及精准关联分析，最终输出可直接用于辅助决策的客观特征排序结果，提升在线面试数据处理的效率与精度。