Python之LDA主题模型算法应用

在这篇文章中,我将介绍用于Latent Dirichlet Allocation(LDA)的lda Python包的安装和基本用法。

由Kaizong Ye,Liao Bao撰写

我不会在这篇文章中介绍该方法的理论基础。

将语料库(文档集)中的文档分配给基于单词矢量的潜在(隐藏)主题的主要思想是相当容易理解的,而这个例子(来自lda)将有助于巩固我们对LDA模型的理解。

安装lda

简而言之,两种方法:

  • 方法1

我将以用户身份安装lda

$ pip install --user lda

这也将安装所需的pbr包。现在我将 在一个设置中提供lda,其中包含我之前安装的所有其他软件包。使用此方法,您应该在安装后得到类似的内容:

$ pip show lda
\-\-\-
Name: lda
Requires: pbr, numpy

lda已经安装好了。让我们一起完成示例。

一个例子

查看路透社新闻发布的语料库。首先,我们做一些导入:

import numpy as np

import lda

import lda.datasets

接下来,我们导入用于示例的数据。这包含在 lda包中,因此这一步很简单(我还输出出每个项目的数据类型和大小):


课程

R语言数据分析挖掘必知必会

从数据获取和清理开始,有目的的进行探索性分析与可视化。让数据从生涩的资料,摇身成为有温度的故事。

立即参加

从上面我们可以看到有395个新闻项目(文档)和一个大小为4258的词汇表。文档术语矩阵X具有395个词汇,表中是每个4258个词汇单词的出现次数。文档。例如,X [0,3117]是单词3117在文档0中出现的次数。我们可以找出计数和与之对应的单词和文档标题:

doc_id = 0
word_id = 3117
print("doc id: {} word id: {}".format(doc\_id, word\_id))
print("-- count: {}".format(X\[doc\_id, word\_id\]))
print("-- word : {}".format(vocab\[word_id\]))
print("-- doc  : {}".format(titles\[doc_id\]))

选择模型

接下来,我们初始化并拟合LDA模型。我们必须选择主题的数量(其他方法也可以尝试查找主题的数量,但对于LDA,我们必须假设一个数字)。继续我们选择的示例:

model = lda.LDA(n\_topics=20, n\_iter=500, random_state=1)

先前有几个参数是我们保留默认值。据我所知,这里只使用对称先验 。

主题字

从拟合模型中我们可以看到主题词概率:

从输出的大小我们可以看出,对于20个主题中的每一个,我们在词汇表中分配了4258个单词。对于每个主题,应该对单词的概率进行标准化。我们来看看前5:

for n in range(5):
    sum\_pr = sum(topic\_word\[n,:\])
    print("topic: {} sum: {}".format(n, sum_pr))

我们还可以获得每个主题的前5个单词(按概率):


python主题建模可视化LDA和T-SNE交互式可视化

阅读文章


 * 主题 6

- 德国 政府

* 主题 7

- 哈里曼 大使

* 主题 8

- 俄罗斯 克里姆林宫

* 主题 9

- 王子 女王 教会 王

* 主题 10

-   亿年前 南

-  主教 癌症 教会 生活

* 主题 17

- 丧葬 城市 死亡

* 主题 18

- 博物馆  文化 城市 文化

* 主题 19

- 艺术 展 世纪 城市 之旅

这让我们了解了20个主题可能是什么含义。

文档主题

我们从模型中获得文档主题概率:

doc\_topic = model.doc\_topic_


随时关注您喜欢的主题


查看输出的大小,我们可以看到395个文档中的每个文档都有20个主题的分布。这些应该针对每个文档进行标准化,让我们测试前5个:

for n in range
   document: 0 sum: 1.0
   document: 1 sum:

文件 总和 1.0

文件 总和 1.0

文件 总和 1.0

文件 总和 1.0

文件 总和 1.0

我们可以对最可能的主题进行抽样:

for n in range(10):
    topic\_most\_pr = doc_topic\[n\].argmax

可视化

让我们看看主题词分布是什么样的。每个主题应该有一个独特的单词分布。在下面的词干图中,每个词干的高度反映了主题中单词的概率:

plt.tight_layout()
plt.show()

最后,让我们看一下几个文档的主题分布。这些分布给出了每个文档的20个主题中每个主题的概率。

plt.tight_layout()
plt.show()

可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds