一种具身环境中的多模态感知与交互方法及装置

本申请涉及人工智能与机器人技术领域。通过提供一种具身环境中的多模态感知与交互方法及装置，方法包括：通过动态加权多模态特征融合算法进行环境熵估计处理，生成表征环境无序度的环境熵值；进行跨模态对齐处理，生成融合环境理解图谱；通过任务自适应强化学习模型进行动态决策处理，生成交互指令；驱动执行机构执行交互动作，得到交互动作的执行结果；对环境熵值的权重进行动态调整处理，生成更新后的环境熵权重；对元知识库进行局部知识节点增量更新处理，生成优化后的元知识库，以解决相关技术中跨模态数据一致性不足，以及生成模型在噪声或数据缺失场景下生成的虚拟特征与真实环境分布偏差大导致环境理解鲁棒性差的问题。