摘要
本申请公开了一种跨模态的问答处理方法、设备及存储介质,属于自然语言处理技术领域。该方法包括:响应于用户输入的多模态数据,提取多模态数据中各个数据模态对应的模态数据特征;基于交互注意力机制,确定各个所述数据模态对应的信息权重;根据所述信息权重,融合各个所述数据模态对应的所述模态数据特征,生成所述多模态数据对应的融合数据特征;获取所述融合数据特征匹配的响应数据,并输出所述响应数据。本申请根据动态调整不同模态之间的信息权重,确保在问答过程中可以更加精准地聚焦于最相关的模态信息,有效解决了提高问答检索的准确率。
技术关键词
交互注意力
多模态
数据
模态特征
跨模态
样本
机制
自然语言
处理器
语义
可读存储介质
存储器
格式
计算机
编码
动态
系统为您推荐了相关专利信息
智能建筑控制系统
推理网络
数字孪生
编码
智能设备
位置定位方法
超声波传感器
超声波定位技术
房屋结构
物体探测
钻孔参数
数学模型
关键工艺参数
粒子群算法
油气田开发技术
BIM技术
混合损失函数
三维点云模型
BIM模型文件
建筑信息提取