具有信息反馈的动作生成方法、装置、设备及介质

本发明涉及人工智能领域，提供了一种具有信息反馈的动作生成方法、装置、设备及介质，应用于医疗、金融领域的具身多模态智能体，方法包括将视觉图像和任务文本输入第一预设模型进行处理得到动作文本；执行动作文本每个动作，在动作执行后，获取当前图像和当前问题；将当前图像和当前问题输入第二预设模型进行生成得到若干个候选答案和若干个相关示例；将若干个候选答案、若干个相关示例和当前问题输入第一预设模型进行判断得到判断结果；利用判断结果进行信息反馈得到反思参数以基于反思参数进行下个动作的处理。因此，本发明实施例通过信息反馈机制对动作执行问题重新规划，从错误中反思学习，提升机器人在应用时遇到问题的处理能力和效率。