---

可下载资源

---

作者

与线性回归不同，逻辑回归的输出被限制在0和1之间，通过逻辑函数（如Sigmoid函数）将线性回归的预测值转换为概率值。当预测的概率低于设定的阈值（通常为0.5）时，模型将事件归类为0；反之，则归类为1。

重要变量

在逻辑回归模型中，自变量（或称为特征）的选择对于模型的性能至关重要。

优缺点分析

逻辑回归模型具有以下优点：

---

---

处理分类变量：逻辑回归能够处理因变量为分类变量的问题，这是线性回归无法做到的。直观解释：逻辑回归的模型参数具有直观的解释性，可以帮助我们理解自变量对因变量的影响。低方差：当特征较少而数据量较大时，逻辑回归往往具有较低的方差，不易过拟合。训练速度快：逻辑回归模型的训练过程相对简单，计算效率较高。

---

可下载资源

1 概述

1.1 项目背景：

因此对老用户的流失进行数据分析从而挖掘出重要信息帮助企业决策者采取措施来减少用户流失的事情至关重要，迫在眉睫。

1.2 目的：

1.3 数据说明：

此次数据是携程用户一周的访问数据，为保护客户隐私，已经将数据经过了脱敏，和实际商品的订单量、浏览量、转化率等有一些差距，不影响问题的可解性。

2 读取数据

==========

# 显示全部特征
df.head()

4 特征工程

# 用训练集进行数据探索
train = pd.concat(\[X\_train,y\_train\],axis=1)

4.1 数据预处理

tkq = \["hstoryvsit\_7ordernm","historyviit\_visit\_detaipagenum","frstorder\_b","historyvi
# tbkq = \["hitoryvsit\_7dernum","hisryvisit\_isit_detailagenum"\]

X_train\[i\].fillna(0,inplace=True)

## 一部分用0填充，一部分用中位數填充
# 新用戶影響的相關屬性：ic\_sniti，cosuing\_cacity
n\_l = picesensitive","onsmng\_cpacty"\]
fori in n_l
X\_trini\]\[Xra\[X\_trinnew_ser==1\].idex\]=0
X\_est\[i\]\[X\_test\[X\_test.nw\_user==1\].inex\]=0

4.1.5 异常值处理

将customer\_value\_profit、ctrip_profits中的负值按0处理
将delta\_price1、delta\_price2、lowestprice中的负值按中位数处理

price\_sensitive -0 ,中位数填充 价格敏感指数,consuming\_capacity -0 中位数填充 消费能力指数 226108 -为空情况 1.从未下过单的新用户214097 2.12011个人为空原因暂不明确

---

---

for f in flter_two:
a = X_trin\[\].median()
X\_tran\[f\]\[X\_train\[f\]<0\]=a
X\_test\[f\]\[X\_est\[\]<0\]=a
tran\[f\]\[train\[f\]<0\]=a

4.1.6 缺失值填充

趋于正态分布的字段,使用均值填充:businessrate\_pre2、cancelrate\_pre、businessrate_pre;偏态分布的字段,使用中位数填充.

def na_ill(df):
for col in df.clumns:
mean = X_trai\[col\].mean()

dfcol\]=df\[col\].fillna(median)
return

## 衍生变量年成交率
X\_train\["onear\_dalate"\]=\_tain\["odernum\_onyear"\]/X\_tran"visinum\_onyar"\]
X\_st\["onyardealae"\]=X\_st\["orernum_neyear"\]/Xtest\[visitumonyear"\]
X_al =pd.nca(\[Xtin,Xtes)

#决策树检验

dt = Decsionr(random_state=666)

pre= dt.prdict(X_test)
pre\_rob = dt.preicproa(X\_test)\[:,1\]
pre_ob

4.2 数据标准化

================

scaler = MinMacaer()

#决策树检验
dt = DeonTreasifi(random_state=666)

5 特征筛选

5.1 特征选择-删除30%列

X\_test = X\_test.iloc\[:,sp.get_spport()\]
#决策树检验
dt = DecisonreeClssifie(random_state=666)
dt.fit(X\_trin,y\_tain)
dt.score(X\_tst,y\_est)
pre = dt.pdict(X_test)
pe\_rob = dt.redicproba(X\_test)\[:,1\]
pr_rob

uc(pr,tpr)

5.2 共线性/数据相关性

#共线性--严重共线性0.9以上，合并或删除
d = Xtrai.crr()
d\[d<0.9\]=0 #赋值显示高相关的变量
pl.fufsiz=15,15,dpi200)
ssheatp(d)

6 建模与模型评估

6.1 逻辑回归

gnb = GasinNB() # 实例化一个LR模型
gnb.fi(trai,ytran) # 训练模型
y\_prob = gn.pic\_proba(X_test)\[:,1\] # 预测1类的概率
y\_pred = gnb.preict(X\_est) # 模型对测试集的预测结果
fpr\_gnb,tprgnbtreshold\_gb = metrics.roc\_crve(ytesty\_pob) # 获取真阳率、伪阳率、阈值
aucgnb = meic.aucf\_gnb,tr\_gnb) # AUC得分
scoe\_gnb = merics.acuray\_score(y\_tes,y\_pred) # 模型准确率

6.3 支持向量机

s =SVkernel='f',C=,max_ter=10,randomstate=66).fit(Xtrain,ytrain)
y\_rob = sc.decsion\_untio(X_st) # 决策边界距离
y\_ed =vc.redit(X\_test) # 模型对测试集的预测结果
fpr\_sv,tpr\_vc,theshld\_sv = mtris.rc\_urv(y\_esty\_pob) # 获取真阳率、伪阳率、阈值
au\_vc = etics.ac(fpr\_sc,tpr_sv) # 模型准确率
scre\_sv = metrics.ccuracy\_sore(_tst,ypre)

6.4 决策树

dtc.fit(X\_tran,\_raiproba(X_test)\[:,1\] # 预测1类的概率
y\_pred = dtc.predct(X\_test # 模型对测试集的预测结果
fpr\_dtc,pr\_dtc,thresod\_dtc= metrcs.roc\_curvey_test,yprob) # 获取真阳率、伪阳率、阈值

6.5 随机森林

c = RndoForetlassiir(rand_stat=666) # 建立随机森
rfc.it(X_tain,ytrain) # 训练随机森林模型
y\_rob = rfc.redict\_poa(X_test)\[:,1\] # 预测1类的概率
y\_pedf.pedic(\_test) # 模型对测试集的预测结果
fpr\_rfc,tp\_rfc,hreshol\_rfc = metrcs.roc\_curve(y\_test,\_prob) # 获取真阳率、伪阳率、阈值
au\_fc = meris.auc(pr\_rfctpr_fc) # AUC得分
scre\_rf = metrcs.accurac\_scor(y\_tes,y\_ped) # 模型准确率

6.6 XGboost

# 读训练数据集和测试集
dtainxgbatrx(X_rai,yrain)
dtest=g.DMrx(Xtest
# 设置xgboost建模参数
paras{'booser':'gbtee','objective': 'binay:ogistic','evlmetric': 'auc'

# 训练模型
watchlst = (dtain,'trai)
bs=xgb.ran(arams,dtain,n\_boost\_round=500eva=watchlst)
# 输入预测为正类的概率值
y_prob=bst.redict(dtet)
# 设置阈值为0.5，得到测试集的预测结果
y\_pred = (y\_prob >= 0.5)*1
# 获取真阳率、伪阳率、阈值
fpr\_xg,tpr\_xgb,heshold\_xgb = metricsroc\_curv(test,y_prob)
aucxgb= metics.uc(fpr\_gb,tpr\_xgb # AUC得分
score\_gb = metricsaccurac\_sore(y\_test,y\_pred) # 模型准确率
print('模型准确率为:{0},AUC得分为:{1}'.format(score\_xgb,auc\_xgb))

6.7 模型比较

plt.xlabel('伪阳率')
plt.ylabel('真阳率')
plt.title('ROC曲线')
plt.savefig('模型比较图.jpg',dpi=400, bbox_inches='tight')
plt.show()

6.8 重要特征

ea = pd.Sries(dct(list((X\_trclumsfc.eatre\_imortancs_))))
ea.srt_vlues(acedig=False
fea\_s = (fa.srt\_vauesacnding=alse)).idex

====================================================================================================================================================================================================================

6.9 流失原因分析

• cityuvs和cityorders值较小时用户流失显著高于平均水平，说明携程平台小城市的酒店信息缺乏，用户转向使用小城市酒店信息较全的竞品导致用户流失
• 访问时间点在7点-19点用户流失比例高与平均水平：工作日推送应该避开这些时间点
• 酒店商务属性指数在0.3-0.9区间内用户流失大于平均水平，且呈现递增趋势，说明平台商务指数高的酒店和用户期望有差距（价格太高或其他原因？）， 商务属性低的用户流失较少
• 一年内距离上次下单时长越短流失越严重，受携程2015年5月-2016年1月爆出的负面新闻影响较大，企业应该更加加强自身管理，树立良好社会形象
• 消费能力指数偏低（10-40）的用户流失较严重，这部分用户占比50%应该引起重视
• 价格敏感指数（5-25）的人群流失高于平均水平，注重酒店品质
• 用户转化率，用户年订单数，近1年用户历史订单数越高，24小时内否访问订单填写页的人群比例越大流失越严重，需要做好用户下单后的追踪体验， 邀请填写入住体验，整理意见作出改进

6.10 建议：

• 考虑占取三四线城市和低端酒店范围的市场份额
• 用户易受企业负面新闻影响，建议企业勇于承担社会责任，加强自身管理，提高公关新闻处理时效性，树立品牌良好形像
• 在节假日前2-3周开始热门景点酒店推送
• 做好酒店下单后的追踪体验，邀请填写入住体验，并整理用户意见作出改进

7.2 用户类型占比

==============

types=\['高价值用户','潜力用户'\]
ax.pie\[1\], raius=0.,colors='w')
plt.savefig(用户画像.jpg'dpi=400, box_inchs='tigh')

 7.3 高价值用户分析 ：

占比19.02，访问频率和预定频率都较高，消费水平高，客户价值大，追求高品质，对酒店星级要求高，客户群体多集中在老客户中，
建议：
多推荐口碑好、性价比高的商务酒店连锁酒店房源吸引用户;
在非工作日的11点、17点等日间流量小高峰时段进行消息推送。
为客户提供更多差旅地酒店信息;
增加客户流失成本：会员积分制，推出会员打折卡

7.4 潜力用户分析

占比：80.98% 访问频率和预定频率都较低，消费水平较低，对酒店星级要求不高，客户群体多集中在新客户中，客户价值待挖掘 建议：
因为新用户居多，属于潜在客户，建议把握用户初期体验（如初期消费有优惠、打卡活动等），还可以定期推送实惠的酒店给此类用户，以培养用户消费惯性为主；
推送的内容应多为大减价、大酬宾、跳楼价之类的；
由于这部分用户占比较多，可结合该群体流失情况分析流失客户因素，进行该群体市场的开拓，进一步进行下沉分析，开拓新的时长。

---

---

查看我们的数据摘要

summary(heart)

根据上述考虑，我们对变量做了一些变化

#例如
sex<-as.factor(sex)
levels(sex)<-c("Female","Male")

检查上述变化是否执行成功

str(heart)

summary(heart)

EDA

对于图形表示，我们需要库 “ggplot2”

library(ggplot2)
ggplot(heart,aes(x=age,fill=target,color=target)) + geom_histogram(binwidth = 1,color="black") + labs(x = "Age",y = "Frequency", title = "Heart Disease w.r.t. Age")

我们可以得出结论，与60岁以上的人相比，40至60岁的人患心脏病的概率最高。

table <- table(cp)

pie(table)

我们可以得出结论，在所有类型的胸痛中，在个人身上观察到的大多数是典型的胸痛类型，然后是非心绞痛。

为了检查我们的模型是如何生成的，我们需要计算预测分数和建立混淆矩阵来了解模型的准确性。

pred<-fitted(blr)
# 拟合只能用于获得生成模型的数据的预测分数。

通过使用ROC曲线，我们可以观察到0.6具有更好的敏感性和特异性，因此我们选择0.6作为区分的分界点。

pred1<-ifelse(pred<0.6,"No","Yes")

# 训练数据的准确性
acc_tr

从训练数据的混淆矩阵中，我们知道模型有88.55%的准确性。

现在在测试数据上验证该模型

predict(type = "response")
## type = "response "是用来获得患有心脏病的概率的结果。
head(test)

我们知道，对于训练数据来说，临界点是0.6。同样地，测试数据也会有相同的临界点。

confusionMatrix((pred1),target)

#测试数据的准确性.

检查我们的预测值有多少位于曲线内

auc@y.values

我们可以得出结论，我们的准确率为81.58%，90.26%的预测值位于曲线之下。同时，我们的错误分类率为18.42%。

Naive Bayes算法

在执行Naive Bayes算法之前，需要删除我们在执行BLR时添加的额外预测列。

#naivebayes模型
nB(target~.)

用训练数据检查模型，并创建其混淆矩阵，来了解模型的准确程度。

predict(train)
confMat(pred,target)

我们可以说，贝叶斯算法对训练数据的准确率为85.46%。

现在，通过预测和创建混淆矩阵来验证测试数据的模型。

Matrix(pred,target)

我们可以得出结论，在Naive Bayes算法的帮助下生成的模型准确率为78.95%，或者我们也可以说Naive Bayes算法的错误分类率为21.05%。

决策树

在实施决策树之前，我们需要删除我们在执行Naive Bayes算法时添加的额外列。

train$pred<-NULL

rpart代表递归分区和回归树

当自变量和因变量都是连续的或分类的时候，就会用到rpart。

rpart会自动检测是否要根据因变量进行回归或分类。

实施决策树

plot(tree)

在决策树的帮助下，我们可以说所有变量中最重要的是CP、CA、THAL、Oldpeak。

让我们用测试数据来验证这个模型，并找出模型的准确性。

conMat(pred,targ)

我们可以说，决策树的准确率为76.32%，或者说它的错误分类率为23.68%。

随机森林

在执行随机森林之前，我们需要删除我们在执行决策树时添加的额外预测列。

test$pred<-NULL

在随机森林中，我们不需要将数据分成训练数据和测试数据，我们直接在整个数据上生成模型。为了生成模型，我们需要使用随机森林库

# Set.seed通过限制permutation来控制随机性。

set.seed(100)
model_rf<-randomForest(target~.,data = heart)
model_rf

在图上绘制出随机森林与误差的关系。

plot(model_rf)

红线代表没有心脏病的MCR，绿线代表有心脏病的MCR，黑线代表总体MCR或OOB误差。总体误差率是我们感兴趣的，结果不错。

结论

在进行了各种分类技术并考虑到它们的准确性后，我们可以得出结论，所有模型的准确性都在76%到84%之间。其中，随机森林的准确率略高，为83.5%。

关于分析师

Xinyao Yi是拓端研究室（TRL）的研究员。在此对她对本文所作的贡献表示诚挚感谢，她在UC San Diego完成了 计算机社会科学专业的硕士学位，专注数据处理、统计建模、机器学习领域。擅长R语言、Python、SQL、SPSS、Stata。