可下载资源

数据

这些数据是从Groupon网站的纽约市区域获得的。网站的布局分为所有不同groupon的专辑搜索，然后是每个特定groupon的深度页面。网站外观如下所示：

​

for url in url_list.url[0:50]:
	try:
		driver.get(url)
		time.sleep(2)
		#关闭出现的任何弹出窗口
		# if(driver.switch_to_alert()):
		try:
			close = driver.find_element_by_xpath('//a[@id="nothx"]')
			close.click()
		except:
			pass
		time.sleep(1)
		try:
			link = 

分类信息

交易功能位置

一个有趣的发现是在过去的几年里，群体的使用已经大大增加了。我们通过检查评论提供的日期来发现这一点。看下面的图像，其中x轴表示月/年和y轴，表示计数，这个结论变得明显。最后的小幅下滑是由于当时的一些小组可能是季节性的。​

一个有趣的发现是在过去的几年里，群体的使用已经大大增加了。我们通过检查评论提供的日期来发现这一点。看下面的图像，其中x轴表示月/年和y轴，表示计数。最后的小幅下滑是由于当时的一些小组可能是季节性的。

pie_chart_df = Groupons.groupby('categories').agg('count')

plt.rcParams['figure.figsize'] = (8,8)

sizes = list(pie_chart_df.mini_info)
labels = pie_chart_df.index
plt.pie(sizes, shadow=True, labels = labels, autopct='%1.1f%%', startangle=140)
# plt.legend(labels, loc="best")
plt.axis('equal')

​

最后，由于大部分数据是通过文本：价格（原价），导出了一个正则表达式来解析价格信息，以及它们提供的交易数量。该信息显示在以下条形图中：

objects = list(offer_counts.keys())
y = list(offer_counts.values())
tst = np.arange(len(y))

plt.bar(tst,y, align = 'center')
plt.xticks(tst, objects)
plt.ylabel('Total Number of Groupons')
plt.xlabel('Different Discounts Offers')
plt.show()

​

plt.ylabel('Number of Offerings')
plt.xticks(ind, ('Auto', 'Beauty', 'Food', 'Health', 'Home', 'Personal', 'Things'))
plt.xlabel('Category of Groupon')
plt.legend((p0[0], p1[0], p2[0], p3[0], p4[0], p5[0], p6[0], p7[0], p10[0]), ('0', '1', '2', '3', '4', '5', '6', '7', '10'))

​

sns.violinplot(data = savings_dataframe)

最后，利用用户评论数据生成一个文字云：

plt.rcParams['figure.figsize'] = (20,20)
wordcloud = WordCloud(width=4000, height=2000, max_words=150, background_color='white').generate(text)
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")

​

主题建模

为了进行主题建模，使用的两个最重要的软件包是gensim和spacy。创建一个语料库的第一步是删除所有停用词，如“，”等。最后创造trigrams。

选择的模型是Latent Dirichlet Allocation，因为它能够区分来自不同文档的主题，并且存在一个可以清晰有效地将结果可视化的包。由于该方法是无监督的，因此必须事先选择主题数量，在模型的25次连续迭代中最优数目为3。结果如下：

​​

​

上面的可视化是将主题投影到两个组件上，其中相似的主题会更接近，而不相似的主题会更远。右边的单词是组成每个主题的单词，lambda参数控制单词的排他性。0的lambda表示每个主题周围的最排斥的单词，而1的lambda表示每个主题周围的最频繁的单词。

第一个话题代表服务的质量和接待。第二个话题有描述锻炼和身体活动的词语。最后，第三个话题有属于食品类的词语。

结论

主题建模是无监督学习的一种形式，这个项目的范围是简要地检查在基础词语背后发现模式的功能。虽然我们认为我们对某些产品/服务的评论是独一无二的，但是这个模型清楚地表明，实际上，某些词汇在整个人群中被使用。