多模态摘要生成与输出方法、装置、设备及介质

本发明涉及数据分析技术领域，可应用于医疗健康、金融科技及文化研究等业务场景，公开了一种多模态摘要生成与输出方法，包括：采集目标领域资料并进行清洗处理，得到结构化数据；从结构化数据中抽取实体及实体间的关联关系，构建目标领域知识图谱；基于目标领域知识图谱生成包含实体关联信息的文本摘要；匹配文本摘要对应的图像数据与音频数据，并整合文本摘要、图像数据及语音数据，生成多模态摘要；根据用户行为数据构建用户画像，基于用户画像对多模态摘要进行输出。本发明通过知识图谱构建，优化实体及其关联关系的提取与分析；通过多模态融合，实现文本、图像和语音的关联展示；通过用户画像优化输出，提升知识总结的效率和适配性。