利用朴素贝叶斯算法进行中文文本的分类。

python 2.7

依赖包： pynlpir, numpy

使用搜狗文本分类语料库，完整数据集共10个类别，每个类别8000个新闻文本。

本文选取了其中8个类别，每个类别分别选取2000，8000进行训练。其中80%作为训练集、 20%作为测试集。

由于完整数据集比较大，本目录下的data只包含了一个非常小的数据集，每个类别50个文本。

对中文文本首先要进行分词，采用的是NLPIR汉语分词系统(使用python中pynlpir)。然后进行去停用词、低频词。

由于训练时间不长，对结果影响不大，没有进行其他降维处理。

朴素贝叶斯文本分类中，有两个模型，多项式模型和伯努利模型。两个模型分别是基于单词粒度和文本粒度的。我们代码中采用和实现的是多项式模型。

训练时间consumu time : 4308.61800003s

准确率和召回率

可以看到每个类别的使用的文本数量2000or8000，对准确率和召回率影响并不是很大，均在90%左右。