摘要
本发明公开了一种用于手持终端的音视频优化处理方法及系统,涉及多媒体信号处理技术领域,包括,独立于音频编码过程,并行采用轻量级神经网络模型对原始音频数据进行实时分析,输出结构化音频语义描述符;响应于所选定的当前视频编码策略模式,动态重构视频编码器的运行参数组对同步采集的视频帧进行编码;若当前视频编码策略模式为语音活跃模式,则提升编码帧率并启动对人脸区域的感兴趣区域编码;若当前视频编码策略模式为音乐主导模式,则提升编码分辨率,若当前视频编码策略模式为静默聆听模式,则降低编码帧率与分辨率。本发明通过基于音频语义的动态视频编码策略调整,实现了视频质量、流畅度与资源消耗的精准平衡。
技术关键词
视频编码策略
轻量级神经网络
手持终端
视频编码器
感兴趣区域编码
模式
音视频
描述符
分辨率
神经网络结构
多媒体信号处理技术
语义
音频编码
复杂度
视频帧
频域特征
动态视频编码
音乐
系统为您推荐了相关专利信息
动态功率匹配方法
可调匹配网络
功率传感器
手持终端
需求预测模型
轻量级神经网络
表面缺陷检测方法
表面缺陷图像
神经网络训练
嵌入块
关键信息提取方法
检测分类模型
联合损失函数
轻量级神经网络
图像训练样本
音频生成方法
多模态
音频编码器
音频解码器
文本编码器