多模态融合的动态token分配方法、装置及存储介质

本发明公开了一种多模态融合的动态token分配方法、装置及存储介质，涉及数据融合技术领域，主要在于能够提升对多模态数据进行token分配的效果，使后续大模型在解决问题时，更关注多模态数据中的关键信息，节约计算资源，且提升大模型基于多模态数据进行问题解决的能力。包括：获取处理目标问题所需的待融合的多模态数据，其中，在处理目标问题场景下，所述多模态数据之间存在互补关系；预测所述多模态数据的单体贡献度，并基于所述单体贡献度，分别为所述多模态数据分配权重系数；基于所述权重系数，分别为所述多模态数据进行token的动态分配。本发明主要适用于多模态数据的token分配场景。