医疗语音转文本错误纠正方法、装置、设备及介质

本发明涉及人工智能技术领域，公开了一种医疗语音转文本错误纠正方法、装置、设备及介质，方法包括：构建多模态医疗语音模型，根据视觉语言预训练模型的视觉编码器和文本编码器的参数初始化多模态医疗语音模型，接收配对的医学图像和错误模拟后的文本报告训练多模态医疗语音模型；根据语音转文本模型和训练后的多模态医疗语音模型构建医疗语音转文本错误纠正模型，接收待纠正的语音及其对应的医学图像训练医疗语音转文本错误纠正模型；采用训练后的医疗语音转文本错误纠正模型对输入医疗语音进行医疗语音转文本错误纠正。提升医疗语音转文本的转换效果。