摘要
本发明提供基于深度学习的主播直播数据特征提取与评分方法及系统,涉及深度学习技术领域,包括采集主播直播中数据;通过三维卷积结构提取包含表情、动作和场景信息的初始特征图,根据识别的场景类型对初始特征图的不同特征维度分配注意力权重,生成视频特征;基于音频数据生成音频特征;对用户互动数据按时间窗口计算用户互动特征;基于视频特征、音频特征和用户互动特征在不同时间窗口的相关性矩阵,通过模态间注意力权重和窗口间注意力权重进行特征融合,结合时序对齐和窗口质量评估得到多模态特征;利用级联网络结构对多模态特征进行处理,输出主播直播的综合评分。
技术关键词
互动特征
音频特征
多模态特征
注意力
数据特征提取
场景
多时间窗口
视频
特征提取网络
多尺度特征
时序
评分方法
矩阵
网络结构
周期性特征
动作协同
动态
计算机程序指令
系统为您推荐了相关专利信息
异常检测方法
样本
视角
相似性度量函数
社区划分算法
视频内容语义理解
文本
生成方法
语义特征
视频关键帧提取
实体关系抽取方法
预训练语言模型
注意力
标识符
实体关系抽取系统
生成方法
音频
循环神经网络模型
数据并行处理
语音