摘要
本发明公开了一种面向司法场景的多模态数据融合方法及系统。本方法为:1)采集司法应用场景中的多模态数据并将其转化为统一格式的数据;2)将数据映射到统一的语义空间以实现跨模态对齐;然后将多模态数据进行关联,得到同一案件的文本描述与对应图像证据作为对应案件的多模态特征;3)基于多模态特征构建司法应用场景的知识图谱;基于知识图谱驱动多模态数据融合并构建每一实体的多模态证据链;4)依据预设指标量化知识图谱的完整性及多模态证据链的可靠性,根据量化结果标记知识图谱中的异常节点并对其调整;5)根据知识图谱生成结构化知识图谱并创建动态脱敏报告;结构化知识图谱中的边表示法律实体间关系,每条关系绑定一多模态证据链。
技术关键词
知识图谱驱动
多模态数据融合
面向司法
模态特征
数据融合方法
案件
实体间关系
跨模态
图像嵌入
BERT模型
音视频
文本段落
置信度阈值
系统为您推荐了相关专利信息
跨模态
估计方法
交叉注意力机制
点云特征
深度图
红外图像特征
多模态数据融合
监测系统
数字孪生
燃煤
语义特征
多源异构数据融合
遥感时间序列数据
动态数据库
时序
光伏电站智能
监控方法
多模态
双向长短期记忆网络
智能实时监控