简易中文自动文摘系统（二）：中文语料库的准备

简易中文自动文摘系统（二）：中文语料库的准备

前文已经提及，汉语的语法和句型不同于英语，在进行分析之前需要进行分词。首先我们需要的是一个中文语料库，本文使用的是维基百科的中文语料库，大小约为1.57GB，-之后从中提取中文语料库。再使用opencc将语料库繁简体转化之后，使用jieba分词将语料库中的段落、句子进行分词得到最终用于模型训练的中文语料库。

中文语料库

本文使用的中文语料库为维基百科的中文语料库。通过以下链接进行-：​​​    -之后得到的是一个压缩包：

-WikiExtractor.py文件，该脚本文件是意大利程序员使用Python研发的维基百科抽取器，简洁并且功能强大，可以抽取出维基百科中文语料库的内容并输出到文本文件。我们在macOS的终端运行以下命令行，使用Wikipedia Extractor抽取正文文本：

bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -b 1000M -o extracted >output.txt

其中-b 1000M是将文本以1000M大小为单位进行分割；output.txt存储的是输出过程中日志信息而非所抽取的正文文本。

上图是抽取出的语料库，我们发现是繁体中文库。

我们这里使用opencc对语料库进行简化。同样，在macOS终端输入以下命令行：

opencc -i wiki_00 -o zh_wiki_00 -c zht2zhs.iniopencc -i wiki_01 -o zh_wiki_01 -c zht2zhs.ini

得到简体中文的语料包zh_wiki_00和zh_wiki_01。简化后如下：

jieba分词

jieba分词是支持Python语言的中文分词组件。jieba分词在深度学习，自然语言处理中有着广泛使用，用法简单。

# encoding=utf-8import jiebaimport jieba.posseg as psegseg_list = jieba.cut("我来到南京邮电大学", cut_all=True)print("Full Mode: " + "/ ".join(seg_list)) # 全模式seg_list = jieba.cut("我来到南京邮电大学", cut_all=False)print("Default Mode: " + "/ ".join(seg_list)) # 精确模式seg_list = jieba.cut("他就职于华为南京研究所") # 默认是精确模式print("/".join(seg_list))seg_list = jieba.cut("小明本科毕业于南京邮电大学，后在北京邮电大学深造")print("/".join(seg_list))seg_list = jieba.cut_for_search("小明本科毕业于南京邮电大学，后在北京邮电大学深造") # 搜索引擎模式print("/".join(seg_list))words = pseg.cut("我爱南京的新街口")#查看词性for word, flag in words: print('%s %s' %(word, flag))

输出结果如下：

运行以下代码，完成语料库的分词：

# encoding = utf-8import jiebaimport codecsimport ref = codecs.open('cut_zh_wiki_00.txt', "a+", 'utf-8')for line in open("zh_wiki_00"): for i in re.sub('[a-zA-Z0-9]', '', line).split(' '): if i != '': data = list(jieba.cut(i, cut_all = False)) readline = ' '.join(data) + '\n' f.write(readline)f.close()

分词结果如下：

由于在本实验中的停用词对结果影响可以忽略，所以本文并未进行去停用词，具体的去停用词方法读者可以自行上网查阅资料参考，去除停用词后语料库的数据将更为干净，结果更为精确。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。