一种基于特征融合的智能体关键行为检测方法

本发明提供了一种基于特征融合的智能体关键行为检测方法，所述基于特征融合的智能体关键行为检测方法包括获取多模态训练样本集，所述训练样本集包括环境图像数据以及动作文本数据组成的序列数据；对所述智能体的环境图像数据使用基于Inception以及GRU神经网络的图像编码模块进行特征提取通过关键判断生成固定维度的图像编码向量；对所述智能体的行为动作文本数据textt使用基于ALBERT的文本编码模块得到动作文本编码向量；根据所述图像编码向量和所述动作文本编码向量进行融合并检测。通过进行标识的多模态训练样本集中行为动作文本数据进行标识，重新融合后进行关键行为的动作检测，有助于现有技术中缺乏一种加入专家的技术问题。