一种多模态亲和性定量建模与异步计算方法

本申请属于多模态相似性控制技术领域。本申请提供一种多模态亲和性定量建模与异步计算方法。本公开实施例首先构建一个异步多模态数据处理的跨模态亲和力矩阵，以当前的数据融合状态为导向，优先在周围近邻状态集中搜索。利用分层分析法对模态间的相似性进行量化和归一化处理，以适应不同类型和数量的输入。然后引入一个类注意力机制的条件生成对抗网络。该网络利用条件生成对抗方式，结合类注意力机制，对缺失或延迟的输入数据进行高效预测和补全。该方法不仅处理了异步数据带来的挑战，还通过结构化的模态亲和力控制，提高了数据融合的效率和精度，显著减少了推断延迟，增强了系统的实时响应能力。