摘要
本发明提供了一种基于统一框架的大模型动态适配与协同提取方法,方法包括:预处理待处理多模态数据;动态识别模态类型并适配编码,得到基础特征;结合语义锚点通过并行Transformer编码器生成融合特征,同步监控特征畸变并纠错;基于锚点权重增强矩阵的跨注意力机制实现跨模态信息交互,生成跨模态特征向量;根据模态间关系类型确定差异化融合权重,得到全局融合特征;检测语义一致性并动态调整权重;转换语义信息并补充细粒度数据,形成初步结果;基于知识图谱校验并补全属性;生成含全局结果与细粒度接地信息的多粒度提取结果。本发明能够实现多模态数据的高效适配、精准融合与高质量信息提取。
技术关键词
融合特征
语义
多模态
编码器
跨模态
纠错机制
局部结构特征
子模块
锚点
交叉注意力机制
动态
关系
异常数据
滑动窗口法
实体
噪声特征
图谱