基于细粒度知识感知的模型微调方法、设备及介质

本发明公开了基于细粒度知识感知的模型微调方法、设备及介质，属于人工智能技术领域，其中方法包括：对目标领域进行分析；获取基于目标领域和相关领域对应的初始视觉数据样本库和初始文本数据样本库；根据跨模态对齐处理模块对初始视觉数据样本库和初始文本数据样本库进行处理；按照预设训练任务；对处理后的视觉－文本数据样本库进行分解，输出多个粒度视觉－文本特征向量；根据多个粒度视觉－文本特征向量对初始知识感知模型进行多任务迁移学习；对第一知识感知模型进行蒸馏学习。本申请解决了现有技术中预训练模型存在的语言偏差和视觉理解难度较大，从而导致跨模态数据在目标领域任务中适应性差、学习效果不佳的技术问题。