一种基于工具学习的多模态共情回复生成方法

本发明提供一种基于工具学习的多模态共情回复生成方法，涉及共情对话生成技术领域。该方法构建基于工具学习的多模态共情回复生成框架TOOL‑STCIKERCONV，包括数据改造模块、工具调用模块以及评估训练模块；该方法通过对构建的对话数据集进行改造，使用插入特殊token方法，在表情包内容描述字段Prompt中添加含有特殊token的片段使得多模态基座模型具有思考表情包生成的能力，实现在隐向量空间中思考，让多模态基座模型学习主动调用表情包生成工具，解决了多模态共情对话生成领域大模型缺乏自主思考能力导致的表情包发送频率异常问题；此外，该方法利用即插即用的表情包生成工具，实现了表情包生成模型的迭代更新和更换不同风格文生图模型。