基于混合专家的视觉语言模型的令牌路由增强方法

本发明公开了一种基于混合专家的视觉语言模型的令牌路由增强方法，本发明是即插即用的，可以在涉及基于混合专家架构的纯视觉模态的模型或者包含视觉模态的多模态模型上实现视觉令牌的高效路由。模态特定的路由策略使得本发明能够识别不同模态信息的内在分布，从而分治地进行视觉和其他模态的令牌路由。此外本发明通过令牌路由的概率方差来区分视觉中重要的尾部前景令牌和冗余的头部背景令牌，有助于挖掘视觉信息。并且通过增强各专家对于视觉中重要的尾部前景令牌的学习，使得本发明能够更加高效地捕捉和学习视觉中的重要信息。本发明在纯视觉模态的骨干模型和包含视觉模态的多模态骨干模型上实现了更加先进性能的同时，保持了推理参数量不变。