一种基于多模态大模型监督的提示词优化训练方法及系统

本发明公开一种基于多模态大模型监督的提示词优化训练方法及系统。其中，该方法包括：将多个初始提示词采用简单多模态大模型、复杂多模态大模型、第一文本大模型进行筛选和优化，得到简单最优提示词、复杂最优提示词；将简单最优提示词、训练集、人工标定问题输入到简单多模态大模型中进行训练，得到简单总损失值；判断简单总损失值是否在预设阈值范围内，若是，则结束训练；反之，重复上述过程的优化，直至简单总损失值在预设阈值范围内，停止训练，将最后一次更新得到的简单最优提示词作为目标最优提示词。该方法通过复杂大模型与简单大模型的协同训练，减少人工干预；结合人工标定数据与复杂大模型的推理过程，双重监督提升提示词的准确性。