基于视觉语言模型的请求处理方法、装置、设备及介质

本发明涉及计算机技术领域，具体公开一种基于视觉语言模型的请求处理方法、装置、设备及介质，该方法包括：接收服务请求；根据服务内容对车机大屏上显示画面截图，获得图像画面，并将图像画面分割成多个图像块，将服务内容转换为视觉语言模型可处理的文本数据；对视觉语言模型添加交叉熵损失和坐标差损失，并对视觉语言模型进行训练；将文本数据和多个图像块输入至经过训练后的视觉语言模型，输出服务响应，以及通过车机大屏显示服务响应。本方法通过引入交叉熵损失和坐标差损失来训练视觉语言模型VLM，使得VLM能够更好地适应不同的服务内容和图像画面，有效提升了VLM在复杂任务中的理解能力，提高对大屏画面中目标对象识别的准确率。