一种web小语种单语语料数据提取方法、装置及介质

本发明属于机器翻译技术领域，提供了一种web小语种单语语料数据提取方法、装置及介质，其中方法包括：(1)网页数据获取：选择单个或者多个目标网页，并使用爬虫工具，通过发送HTTP请求获取网页的HTML源代码；(2)数据解析与提取：利用HTML解析器，精确解析HTML源代码；(3)Unicode编码识别：输入语种标准语言代码，然后在字典表中获取到该语种的Unicode编码范围，识别和提取数据；(4)数据存储。本发明通过精确解析和提取HTML标签数据，显著提高了数据爬取的准确性，减少了对杂乱数据的干扰。