摘要
本发明涉及人工智能领域,可应用于智能安防、金融、医疗领域,公开智能安防任务处理方法、装置、设备及介质,该方法包括从第一视频流中获取目标对象的多模态特征,多模态特征包括视觉特征、语言特征和动作特征;从多模态特征中提取与多模态任务关联的情景特征;获取各模态特征与情景特征之间的关联度;根据该关联度计算各模态特征的权重;根据各模态特征的权重确定多模态特征的目标融合路由路径;按照目标融合路由路径融合多模态特征得到第一目标特征;对第一目标特征进行增强处理得到第二目标特征;基于多模态任务指令和第二目标特征推理得到目标决策指令。本方案通过多模态特征协同,能够实现深度情景理解,提升目标决策指令的合理性。
技术关键词
智能安防
视觉特征
动作特征
情景
输入输出单元
视频流
融合多模态特征
决策
指令
注意力机制
处理器
可读存储介质
处理单元
关键词
关系
计算机设备
系统为您推荐了相关专利信息
模态特征
多模态信息融合
深度学习融合
音频特征
学习分类器
智慧安防管理方法
实时图像
公安
图像识别模型
指令