面向触觉常识推理的触觉-语言大模型建模方法

本发明公开了一种面向触觉常识推理的触觉‑语言大模型建模方法，包括：S1，准备第一数据集和第二数据集；S2，构建触觉‑语言大模型：触觉‑语言大模型包括：触觉编码器、触觉‑语言适配器和大语言模型LLM；S3，对触觉‑语言大模型进行两阶段训练，在第一训练阶段，采用第一数据集对触觉‑语言大模型进行训练；在第二训练阶段，采用第二数据集对第一训练阶段后的触觉‑语言大模型进行训练，得到训练完毕的触觉‑语言大模型；S4，在测试阶段，将第二数据集输入到训练完毕的触觉‑语言大模型中得到文本描述。本发明的触觉‑语言大模型建模方法，降低了参数耦合风险，实现了高效收敛与跨模态表征的稳健融合，显著提升了训练稳定性。