摘要
本发明公开了一种多模态Transformer模型的会话交互非结构化情报主题提取方法,包括:输入多模态数据;对多模态数据进行预处理;将预处理后的多模态数据输入Transformer模型,进行交叉融合及解码,得到情报主题文本;根据可调节参数的覆盖函数计算生成的情报主题文本的主题覆盖损失,对Transformer模型进行参数更新,使Transformer模型能够输出定制化情报主题文本;用户输入文本信息对情报主题提出进一步要求,并实现多轮交互,取出交互信息,进行迭代主题提取,深刻理解用户需求和上下文情报信息。本发明能够有效地进行多模态情报主题的提取,在提高情报主题提取全面性的同时,通过会话交互,进一步提升情报提取精确性,优化用户体验。
技术关键词
主题提取方法
多模态
位置编码信息
文本
序列
图像嵌入
编码向量
音频
位置编码方法
注意力机制
数据
优化用户体验
编码器
解码器
编码方案
参数
系统为您推荐了相关专利信息
钢轨伸缩调节器
位移监测方法
可见光图像
位移监测系统
多模态数据融合
防误闭锁系统
智能防误闭锁装置
状态监测技术
模拟培训系统
设备状态监测系统