摘要
本申请公开了一种多模态数据处理方法、装置及电子设备,涉及数据处理技术领域,包括按照各模态对应的分块策略对多模态数据中对应的模态数据进行分块处理,获得各模态的模态数据块,通过对不同模态的数据采用不同的分块策略进行分块,保证每个模态的数据的有效分块,进一步对模态数据块进行结构语义解析,获得结构语义数据,并根据结构语义数据生成结构语义标签,再基于结构语义标签对模态数据块进行跨模态合并处理,获得多模态数据对应的数据块,以此,从结构语义的维度进行跨模态合并处理,使得到的数据块保留不同模态的数据之间的有效关联,解决多模态数据的数据分块不够准确的问题;达到提升数据块的准确性和有效性的技术效果。
技术关键词
分块策略
多模态
数据处理方法
文本
语义标签
跨模态
特征提取模型
滑动窗口
图片
表格
动态
信息熵
终点
电子设备
可读存储介质
存储计算机程序