基于多模态大语言模型的长期动作预测方法及相关装置

本发明提供基于多模态大语言模型的长期动作预测方法及相关装置，包括：对视频根据固定的采样率进行抽帧处理，预测出所有视频帧对应的文本动作标签；将文本动作标签输入多模态大语言模型，得到文本特征、视觉特征以及预设的动作查询特征；构建跨模态交互网络架构，将文本特征、视觉特征以及预设的动作查询特征作为输入，得到不同模态交互后的特征表达；基于不同模态交互后的特征表达基于动作调优模块得到动作调优的输出结果，然后训练多模态大语言模型，利用损失函数对网络进行优化求解，得到预测结果。