主题模型

1.1 齐波夫定律（Zipf’s Law）

在正式介绍TF-IDF之前，先看看什么是齐波夫定律，因为这样子有助于理解TF-IDF的含义。下面是关于英文的介绍：

“Zipf’s Law describes that given some corpus of natural language utterances, the frequency of any word is inversely proportional to its rank in the frequency table.”

上面这段话表述的是：给定一个文档，任何一个单词出现的频次是与其在频次表（很多地方用的频率，这里用频次是为了做一定的区分，频率想表述的是一种占比关系，频次则说明次数的问题）上的位置（排名）成反比的。比如说一个单词出现在频次表上的第一位，那么它出现的次数基本（非严格意义）是排在第二位的单词出现的次数的2倍，第三位的3倍，以此推断下去。上面有说非严格意义的意思是说，并不是精准的两倍三倍的差距，而是说在一个文本足够大的情况下是如此。

1.2 主题模型（Topic Modelling）

知道一个文本各个单词的出现的频次可以提供给机器学习算法一些初步的特征，但是单单知道单词的频次并不能赋予我们做更多的事，也无从得知某个单词对于该文档的重要性。这里正式引入逆文本频率指数（IDF：Inverse Doccument Frequency），通过了解IDF来引出最终所需要的TF-IDF整个计算公式和运用。TF-IDF的意思是：如果一个单词（文本标识符）出现在一个文档中的次数越多，但是却很少出现在其他文档中，那么就可以假设这个单词在这个特定的文本中的分量是很重要的。具体的计算公式如下：

IDF = total number of documents (文本集含有的文本总数) / the number of documents contain a term (含有特定单词的文本数)

举个例子，假设我们现在有一个文本集，这个文本集一共含有5个不同的文本内容，其中3个文本含有‘China’这个单词，那么IDF(‘China’) = 5 / 3 = 1.67。但是直接拿IDF来衡量一个单词在一个文本中的重要性，那样子显然会碰到一个问题，那就是数量级问题。比如我们有一个文本集，该文本集有100万个文档，在这100个文档中寻找apple这个单词，已知只有一个文本含有apple这个单词，又已知有10个文档含有orange这单词，那么可以得到这两个单词的IDF分别为：100万和10万，通过这个例子可以看到量级差别太巨大，并不适合比较，所以在处理这样子情况下建议引入log()和exp()函数来让单词的出现的频次和文档频次处于统一水平，这样子做的好处是后期计算得到的TF-IDF值会是均匀分布（uniformly distributed）。通过引入log，这个时候之前关于查找apple和orange的例子就会变成:

IDF(‘apple’) = log(1000000/1) = 6

IDF(‘orange’) = log(1000000/10) = 5

综上，假设一个标识符 t 出现在一个文本集 D 中的特定文档 d 的频率可以定义为：

TF(t, d) = number of t appears in document d /total tokens in document d

IDF(t, D) = log(number of documents / number of documents containing t)

TF-IDF(t, d, D) = TF * IDF

从上述公式可以看出，如果一个单词出现在特定文档的次数越多，那么IDF的值也会相应的增大，紧接着TF-IDF的权重也会变大。这也就是说明了TF-IDF的值可以帮助理解一个文档想要表达的或者帮助理解主题模型，因为按照之前的假设，一个单词出现次数越多越能表达一个文档想要表达的意思（注意停顿词等的影响要去除）。