MNBVC - MNBVC大规模中文语料集：覆盖多样类型数据支持开源社区

MNBVC超大规模中文语料集介绍

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个专注于建立超大规模中文语料集的项目。它由中国历史上神秘且富有影响力的MOP里屋社区于2023年发起。这一项目立志为开源社区提供长期且稳定的中文数据更新服务，旨在助力中文算法的不断发展。

MNBVC语料集涵盖了各种纯文本形式的中文数据，范围极广，包括但不限于：新闻文章、文学作品、学术论文、电子书、在线论坛帖子、wiki内容、古诗词、歌词、商品描述、幽默故事、聊天记录等。所有数据均来自互联网，以确保其多样性和丰富性。

截至目前，MNBVC已收集到约39268GB的数据，目标是达到ChatGPT3.5的40TB数据规模，目前进度为98.1%。这个庞大的数据量为自然语言处理的研究和应用提供了重要的资源支持。

数据以多种格式保存，包括txt、json、jsonl和parquet，最终将统一为jsonl和parquet格式。每个数据压缩包的初步处理包括将html和xml转换为txt、csv和tsv转为json等形式。在压缩包中，还包含数据来源的网站截图，并对其中的大数据信息进行了脱敏处理。

为了持续提供更新并避免版权争议，MNBVC项目选择不在压缩包中提供具体的数据索引和分类信息。项目组强调不应讨论压缩包内容的具体信息，并呼吁用户关注大数据应用本身。项目的清洗后的分类数据将会陆续发布在huggingface平台上供研究使用。

MNBVC项目正在招募志愿者，欢迎时间充裕、具备Python技能的人士参与。其中，OCR转码、问答语料、语料增强等多个小组都在招募新成员。此外，项目还设有参与机制，即用户可以通过上传语料文档来贡献数据集的建设。

项目组在多个工具开发上进行了优化，为中文语料的处理提供了高效工具。例如，字符编码检测工具charset_mnbvc、文本格式检查工具DataCheck_MNBVC等。

此外，为了更好地在开源社区间共享，这些工具和清洗代码都在GitHub上开源，以供其他开发者使用和贡献。

用户可以通过P2P微力或百度网盘下载MNBVC语料集。为了确保数据安全和持续更新，推荐方法是通过微力进行同步。

MNBVC项目不仅是一个庞大的数据集工程，更是对中文互联网数据的一次深度挖掘和整合。这个项目在保持低调的同时，为中文的自然语言处理提供了重要的资源支持。希望MNBVC的成果能够在未来应用中发挥更大的价值，推动中文自然语言处理技术的发展。