基于多模态大模型的视频处理方法、装置、设备及介质

AITNT
正文
推荐专利
基于多模态大模型的视频处理方法、装置、设备及介质
申请号:CN202410881385
申请日期:2024-07-02
公开号:CN118779491A
公开日期:2024-10-15
类型:发明专利
摘要
本申请涉及数据处理技术领域,尤其涉及基于多模态大模型的视频处理方法、装置、设备及介质,在本申请实施例中,多模态大模型包括融合结构、语言大模型和至少两个视频编码器,其中,采用至少两个视频编码器提取目标视频的初始视频特征,并采用融合结构将多个视频编码器的初始视频特征进行融合,得到目标视频特征,实现视频的特征的精细化提取,增强多模态大模型视频细节描述能力。
技术关键词
视频编码器 矩阵 多模态 文本 样本 参数 数据处理技术 注意力 电子设备 编码模块 处理器 可读存储介质 存储器 指令 计算机 数值
系统为您推荐了相关专利信息
1
基于多模态体表标志追踪的手术导航影像实时配准方法及系统
三维模型 实时配准方法 标志 纹理特征 图样
2
一种共享芯片系统内存的矩阵加速器及其运行方法
数据存取模块 SRAM读写控制 加速器 芯片系统 子模块
3
一种基于大数据分析的医疗诊断方法及系统
医疗诊断方法 病变特征 大数据分析模型 纹理特征 灰度共生矩阵
4
一种联合比幅与变步长MUSIC的单极子交叉环天线信号测向方法
单极子交叉环天线 MUSIC算法 测向方法 噪声子空间 信号
5
基于深度可分离卷积密集连接网络的异物入侵识别方法
入侵识别方法 分布式声波传感 数据分布 二维声场 光纤传感器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号