摘要
本发明涉及智慧交通技术领域,公开了一种面向高速大雾场景的时序多模态大模型事件理解方法,第一步,将高速场景的视频流按照时间顺序拆分为独立的帧序列,并进行数据预处理,第二步,将视频时序数据输入去雾网络进行处理,第三步,将去雾后的视频数据与相关文本数据结合,形成时序+文本的多模态数据输入,第四步,利用双尺度节点描述时序‑语言的层次结构,实现结构对齐,第五步,使用有向边引导时序数据和语言提示之间的逻辑关系,实现逻辑对齐,第六步,将处理后的多模态数据输入事件理解模块,识别并分类场景中的各类事件,实现语义理解。
技术关键词
时序
多模态融合机制
反射率
文本
分类场景
融合上下文信息
数据
引入注意力机制
智慧交通技术
序列
视频流
语义特征
节点
深度神经网络
视频帧
交互机制
系统为您推荐了相关专利信息
实体关系抽取模型
实体关系抽取方法
语义向量
实体关系抽取系统
词语
预测商品价格
价格趋势预测
多源异构数据
动态权重分配
时序预测模型
爬虫框架
抓取频率
数据库存储器
分布式爬虫技术
过滤模块
人工智能决策
个性化推荐系统
策略
自然语言
关联规则挖掘技术