CBook-150K: 复旦大学NLP实验室推出的大规模中文图书语料库

CBook-150K:复旦大学NLP实验室的大规模中文图书语料库

近日,复旦大学自然语言处理实验室推出了一个名为CBook-150K的大规模中文图书语料库项目。该项目汇集了约15万本中文电子图书,为自然语言处理领域的研究者提供了宝贵的语料资源。

项目概述

CBook-150K是一个基于网上开源MD5图书链接收集而成的中文图书语料集合。项目的主要内容包括:

大规模的中文图书MD5链接
图书下载和使用方法说明
常见电子书格式(PDF、EPUB、MOBI)的解析代码示例

该项目的目标是为中文自然语言处理研究提供高质量、大规模的文本语料,促进相关领域的技术进步。

MD5链接结构

项目提供的MD5链接按照以下结构组织:

├── CBOOK_MD5
    ├── MD5_0_9999
        ├── MD5_0_999.txt
        ├── MD5_1000_1999.txt
        ├── ...
        ├── MD5_9000_9999.txt
    ├── MD5_10000_19999
        ├── MD5_10000_10999.txt
        ├── MD5_11000_11999.txt
        ├── ...
    ├── ...
    ├── MD5_140000_149999
        ├── MD5_140000_140999.txt
        ├── MD5_141000_141999.txt
        ├── ...
        ├── MD5_149000_149999.txt

这种结构使得用户可以方便地按需下载和使用部分数据。

图书获取方法

为了方便用户获取图书内容,项目推荐使用MD5快传插件。具体步骤如下:

下载并安装MD5快传插件
在百度云盘中使用该插件
将MD5链接复制到插件的秒传窗口中进行转存
转存成功后即可下载图书文件

MD5快传插件使用示意图

图书解析方法

CBook-150K项目还提供了常见电子书格式(PDF、EPUB、MOBI)的解析示例代码,方便研究者提取图书文本内容。以下是几种格式的解析方法简介:

PDF格式解析

项目推荐使用复旦大学自然语言处理实验室开发的DocAI工具来处理PDF文件。此外,也可以使用Python的PyPDF2库进行解析:

import PyPDF2
import os

# 保存每页文本信息
page_info = []
try:
    # 指定pdf文件路径
    book_path = os.path.join(pdf_chinese_md5_dir, PDF_MD5)
    with open(book_path, 'rb') as pdf_fp:
        pdf_reader = PyPDF2.PdfReader(pdf_fp)
    if pdf_reader.is_encrypted:
        # 如果PDF文档是加密的，则需要提供密码才能继续处理
        pass
    else:
        # 遍历每一页并提取文本信息
        for i in range(len(pdf_reader.pages)):
            page = pdf_reader.pages[i]
            text = page.extract_text()
            # 如果提取到的文本信息非空，则认为该PDF文档包含文本信息
            if text.strip():
                page_info.append(text.strip()+'\n')
except Exception as e:
    print(e)

EPUB格式解析

对于EPUB格式的电子书,可以使用以下代码进行解析:

import zipfile
from bs4 import BeautifulSoup
import os

# 每个chapter文本
chapter_content_list = []
# 指定epub文件路径
book_path = os.path.join(epub_chinese_md5_dir, EPUB_MD5)
# 使用ZipFile库打开epub文件
book = zipfile.ZipFile(book_path)
# 获取书籍的文本HTML名称
xhtml_data = [string for string in book.namelist() if string.endswith('xhtml') or string.endswith('html') or string.endswith('xml')]
# 解析每个HTML文本格式
for k in range(len(xhtml_data)):
    try:
        chapter_file = book.open(unquote(xhtml_data[k]))
        chapter_content = chapter_file.read().decode('utf-8')
        chapter_content = BeautifulSoup(chapter_content, 'html')
        chapter_content_list.append(chapter_content.get_text().strip())
    except Exception as e:
        print(e)
    continue

MOBI格式解析

MOBI格式的电子书可以通过以下方式解析:

import mobi
import shutil
from bs4 import BeautifulSoup
import os

# 指定mobi文件路径
book_path = os.path.join(mobi_chinese_md5_dir, MOBI_MD5)
# 提取TMP文件路径
tempdir, filepath = mobi.extract(book_path)
# 获取HTML文件内容后删除中间文件
try:
    with open(filepath, 'r', encoding='utf-8') as mobi_fp:
        chapter_content = mobi_fp.read()
    shutil.rmtree(tempdir)
    # 利用BeautifulSoup提取HTML文本信息并作格式化后重新提取
    chapter_content = BeautifulSoup(chapter_content, 'html.parser')
    chapter_content = chapter_content.prettify()
    chapter_content = BeautifulSoup(chapter_content, 'html.parser')
    file_content = chapter_content.get_text().strip()
except Exception as e:
    print(e)