摘要
本发明提供了一种基于组合式模块化网络的自进化视觉推理方法,首先将自然语言表示的推理问题采用语义解析器翻译成推理蓝图,然后根据推理蓝图,调用每条推理链条中的每个子任务包含的谓语动词和宾语名词对应的神经网络模块组成自进化推理链路,采用预训练视觉骨干模型对输入图像提取一组视觉嵌入,取推理链路输出的一组特征嵌入的第一条特征嵌入,输入到一个由多层感知机构成的分类头中,得到所有候选答案的分类概率分布,取出分类概率最高的答案作为推理结果,完成整个推理过程。本发明能够实现自进化,逐渐从能够解决简单推理问题进化到能够解决复杂推理问题。
技术关键词
视觉推理
组合式模块化
推理方法
文本
链条
矩阵
答案
列表
多层感知机
解析器
链路
计数器
网络
编码向量
参数
视觉特征提取
注意力
系统为您推荐了相关专利信息
协同推荐模型
样本
对象推荐方法
决策树算法
语义
人机交互方法
多模态信息
意图
大数据分析技术
个性化策略
图像特征向量
多模态
生成文档
生成方法
文本特征向量