摘要
本发明公开了速览在线流媒体的方法和装置、电子设备。该方法包括:通过多模态处理模型对流媒体数据进行预处理以构建场景识别模板数据;根据用户配置的目标速览策略基于所述流媒体数据构建场景描述模板数据;基于所述场景识别模板数据通过多模态语言模型进行推理以确定场景类型;基于所述场景类型和所述场景描述模板数据通过所述多模态语言模型进行推理以生成关键片段摘要;以及根据所述关键片段摘要生成所述流媒体数据的速览信息。本发明能够对视频场景进行准确描述,提高视频速览的普适性,并满足用户的个性化速览需求,从而帮助用户高效获取视频的核心信息。
技术关键词
多模态
数据
模板
文本
音频
视频流
序列
神经网络处理单元
视频场景识别
摘要
图像
媒体
在线
策略
电子设备
模型剪枝
深度学习模型
情感特征
系统为您推荐了相关专利信息
负荷短期预测方法
LSTM模型
超参数
上下文特征
注意力机制
双极性电化学原理
双极性电极
无线电
控制模块
数据采集模块
敏感数据识别方法
卷积神经网络模型
敏感数据识别系统
节点特征
注意力机制算法
调度算法
面向多场景
资源调度方法
资源更新
解析算法
工程车辆
车载终端
数据采集方法
数据采集终端
服务端