终于在老公的言语讽刺之下，我终于把文本分类做了，虽然觉得之前我自己思考的文本分类的思路还是有一些可取之处的，但是考虑到我的文章或许可以给有需要的网友参考，因此还是不要误导别人了，直接给出正确的思路吧。

这里有一个重要问题要好好强调一下。

语料库最好大而全，否则严重影响分类效果。

好了下面就是正题了。

我在网上找了很多参考的文章，但是我觉得大同小异相互抄袭，都是转换成Bunch类型。
Bunch类型是sklearn的datasets中一种数据类型，和python中的字典型（dic）类似。

image.png

可以看看源码里面的描述。

第一步，切词

首先，介绍一下数据。我拿到的语料库是在网上下载的，复旦大学的中文文本分类的语料库。

image.png

打开是类似于上图的一个txt文档。

image.png
整体文件里面是这样的一个一个的文件夹，文件夹名就是类别名，打开每个文件夹里面属于这个类别的一系列文章。
这个是训练数据，测试数据可以在训练数据里面复制几个，或者自己随意找几个。

第二，读取每个文件夹中的每个文件，然后再用结巴分词，将分词后的文章按照原来的文件夹名和文件名重新存储一下。

image.png
这里有几个提一下，首先看到的分词方法是结巴分词。第二，看到的是原文档是GB2312，分词以后重新存储为utf-8型的。
第三，提醒一下，训练集和测试集都要切词。

第二，将切词后的文档转换成Bunch型。

from sklearn.datasets.base import Bunch
下图是方法。

image.png

还是要将训练集和测试集一起转换成Bunch型。我在代码里的注释十分仔细了。有兴趣的可以跟进去看一下源码，Bunch型其实和字典型很像。

第三，计算tf-idf

# 构建tfidf的向量空间
def vector_space(stopword_path, bunch_path, space_path, train_tfidf_path=None):
    # 加载停词表
    stpwrdlst = readfile(stopword_path).splitlines()
    # 加载bunch型
    bunch = readbunchobj(bunch_path)
    # 这里的tfidfspace定义了一个新的Bunch类型，在之前的bunch基础上增加了tdm=[],vocabulary={}两项。
    tfidfspace = Bunch(target_name=bunch.target_name, label=bunch.label, filenames=bunch.filenames, tdm=[],
                       vocabulary={})

    # 从主函数进来第一次调用这个方法的时候（对训练数据）train_tfidf_path实际为空，
    # 也就是说进入了else部分，然后writebunchobj，写了一个bunch的类型，也就是train数据的tfidf的向量空间。
    # 第二次在进入这个方法的时候，train_tfidf_path就不为空了，因此进入了if的部分，
    # 跟上面一样if执行完了以后又执行了writebunchobj，写了一个bunch类型，也就是test数据的tfidf的向量空间。
    if train_tfidf_path is not None:
        trainbunch = readbunchobj(train_tfidf_path)
        tfidfspace.vocabulary = trainbunch.vocabulary
        vectorizer = TfidfVectorizer(stop_words=stpwrdlst, sublinear_tf=True, max_df=0.5,
                                     vocabulary=trainbunch.vocabulary)
        tfidfspace.tdm = vectorizer.fit_transform(bunch.contents)

    else:
        vectorizer = TfidfVectorizer(stop_words=stpwrdlst, sublinear_tf=True, max_df=0.5)
        tfidfspace.tdm = vectorizer.fit_transform(bunch.contents)
        tfidfspace.vocabulary = vectorizer.vocabulary_

    writebunchobj(space_path, tfidfspace)
    print("tf-idf词向量空间实例创建成功！！！")

第四，分类预测

这个就比较简单了，在sklearn的分类器中分类算法都可以替换。

image.png

这个虽然觉得大家都应该知道，但是还是提醒一下吧，在调用分类算法的时候，要先fit一下train数据，然后在predict一下test数据。