基于多模态数据融合的纪要自动生成方法、系统、装置及产品

本发明提供一种基于多模态数据融合的纪要自动生成方法、系统、装置及产品，该方法包括：获取交互场景内的多模态数据，多模态数据包括音频信息和视频信息；基于深度学习技术对多模态数据进行特征提取，包括提取音频信息得到转录文本，提取视频信息得到视觉特征；获取与交互场景对应的关联提示信息；根据关联提示信息动态匹配预设的摘要模板；结合转录文本、视觉特征、关联提示信息、摘要模板形成结构化文档；将结构化文档输入预训练模型得到纪要文档；按照发送设置将纪要文档发送给指定的接收用户。本发明提高纪要文档生成的效果，并能够兼容不同的交互场景，应用范围广泛。