基于双向一致性蒸馏的分布式异构数据处理方法及系统

本申请公开了一种基于双向一致性蒸馏的分布式异构数据处理方法及系统，涉及数据处理技术领域。方法中获取分布式节点的异构数据并转换为通用数据流，基于拓扑信息对分布式节点进行多层级聚类生成多层级语义锚点。再提取通用数据流的时间特征和空间特征，并融合得到时空联合特征。然后进行正向一致性蒸馏，将语义锚点对应的时空联合特征映射至共享语义空间得到映射特征向量，利用多头注意力机制计算多层级的特征相似度。再进行反向一致性蒸馏，利用可逆性校验网络对映射特征向量进行反向一致性校验得到反向校验参数。最后根据特征相似度和反向校验参数，选择同步策略处理异构数据。实现数据处理从比特级到语义层级的跨越，及多粒度一致性校验。