一种基于多模态大模型的自主智能体构建方法及装置

本申请公开了一种基于多模态大模型的自主智能体构建方法及装置，通过获取多模态数据，并进行预处理；从预处理后的多模态数据中提取各个模态的基础特征，并映射至统一语义空间，生成统一维度的语义表征；基于统一维度的语义表征，利用动态注意力机制动态计算各模态的关联权重，并通过自适应网络模型进行加权融合，得到有效特征；利用有效特征对初始自主智能体进行训练和优化，从而得到训练好的自主智能体；其中，对初始自主智能体进行训练时包括元学习阶段和持续学习阶段。本申请通过动态注意力与自适应门控网络显著提升了多模态的融合效率与精度，并基于元学习与持续学习的混合训练框架，提升了智能体的泛化与自适应能力。