作者

Zhuo Chen

✉

     联系我们

可下载资源

本文将通过视频讲解，展示如何用N-Gram、逻辑回归模型分析招聘网站欺诈可视化，并结合R语言逻辑回归logistic模型ROC曲线可视化分析2个例子的代码数据，为读者提供一套完整的实践数据分析流程。

三、特征工程

特征工程是机器学习建模的关键步骤。我们首先对文字信息进行了预处理，包括分词、去除停用词、词干提取等。接着，我们利用N-Gram分析提取了职位描述中的词组特征，以捕捉更多的语义信息。此外，我们还进行了特征合并，将行业、岗位和描述信息结合起来，形成更具代表性的特征。在特征选择方面，我们根据相关性分析和重要性评估，去除了不相关的特征，以降低模型的复杂度。

五、模型评估

为了评估模型的性能，我们使用了混淆矩阵来衡量准确性。混淆矩阵展示了模型在不同类别上的分类结果，包括真正例、假正例、真反例和假反例。通过计算准确率、召回率、F1值等指标，我们全面评估了模型在识别招聘欺诈方面的表现。此外，我们还对模型的稳定性进行了检验，确保其在不同数据集上都能保持较好的性能。

R语言分析麻醉剂用量（conc）对手术病人是否移动（nomove）的影响

在医学实践中，麻醉剂用量的精确控制对于手术过程的顺利进行和病人的术后恢复至关重要。随着医疗技术的不断发展，数据分析和统计学方法在医学研究中的应用日益广泛。

本文使用的数据集来自于John Maindonald所著的《Data Analysis and Graphics Using R》一书中的anesthetic数据集，该数据集包含了一组医学数据，其中变量conc表示麻醉剂的用量，而nomove作为因变量，用于表示手术病人是否有所移动。

首先载入数据集并读取部分文件，为了观察两个变量之间关系，我们可以利cdplot函数来绘制条件密度图

系数：

• 截距 (Intercept) : -6.469。这是当模型中的其他变量都为0时，预测值的起点。这里的截距为负，可能意味着在没有其他因素影响时，某个特定的结果（例如，响应变量为1的概率）是较低的。
• conc: 5.567。这是anes1数据集中conc变量的系数。它表示当conc每增加一个单位时，响应变量（通常是二元结果，如1或0）的对数几率平均增加5.567个单位。这通常意味着conc与响应变量之间存在正相关关系。

显著性代码：输出还提供了系数的显著性水平。例如，’***’ 表示该系数的p值小于0.001，是非常显著的。这意味着我们可以非常确信conc与响应变量之间的关系不仅仅是偶然的。

分散参数：对于二项分布家族，分散参数通常被设为1，这里也是如此。

偏差统计：

• Null偏差：这是仅包含截距的模型的偏差，用于比较完整模型的效果。在这里，Null偏差为82.911，表示在没有其他预测变量的情况下，模型与数据的拟合程度。
• 残差偏差：这是包含所有预测变量的完整模型的偏差。残差偏差为55.508，比Null偏差小，说明添加conc变量后，模型对数据的拟合度有所提高。

AIC (赤池信息准则) ：这是一个衡量模型拟合度的指标，同时考虑了模型的复杂性和拟合度。较低的AIC值通常表示模型更好。这里的AIC为59.508。

Fisher评分迭代次数：在逻辑回归模型拟合过程中，算法使用了5次迭代来收敛到最终的系数估计。

for (i in 1:n){  
   
  threshold=data$prob[i]  
   
  tp=sum(data$prob>threshld&data$obs==1)  
   
  fp=sum(data$prob>thresold&data$obs==0)  
   
  tn=sum(data$prob)

gate(aneshetic[,c('move','nostheic$conc),FUN=sum)

对于汇总数据，有两种方法可以得到同样的结果，一种是将两种结果的向量合并做为因变量，如anes2模型。另一种是将比率做为因变量，总量做为权重进行建模，如anes3模型。这两种建模结果是一样的。

根据logistic模型，我们可以使用predict函数来预测结果，下面根据上述模型来绘图：

R语言逻辑回归模型分析汽车购买行为

数据描述

用R语言做logistic regression，建模及分析报告，得出结论，数据有一些小问题，  现已改正重发：改成以“是否有汽车购买意愿（1买0不买）”为因变量，以其他的一些  项目为自变量，来建模分析，目的是研究哪些变量对用户的汽车购买行为的影响较为  显著。

问题描述

  我们尝试并预测个人是否可以根据数据中可用的人口统计学变量使用逻辑回归预测是否有汽车购买意愿（1买0不买）。 在这个过程中，我们将：
1.导入数据
2.检查类别偏差
3.创建训练和测试样本
4.建立logit模型并预测测试数据
5.模型诊断

数据描述分析

查看部分数据

对数据进行描述统计分析：

显然，不同购买意愿.人群比例 有偏差 。 所以我们必须以大致相等的比例对观测值进行抽样，以获得更好的模型。

建模分析

创建训练和试验样本

解决类别偏差问题的一个方法是以相等的比例绘制训练数据（开发样本）的0和1。 在这样做的时候，我们将把其余的inputData不包含在testData 中。

构建Logit模型和预测

全变量模型

从全变量模型的结果来看，可以发现得到的模型变量并不显著，因此需要重新建模

筛选出显著的变量：

逐步回归筛选后模型

从上面的回归结果中，我们可以看到公共汽.电.车车辆数.辆.,公交客运总量.万人次. ,私人汽车保有量.辆.,地铁长度 ,日最高温度.F.的最大值 ,摩托车数量  对是否有汽车购买意愿有重要的影响。从中同时可以看到公交客运总量.万人次. ,私人汽车保有量.辆.,地铁长度 , 日最高温度.F.的最大值和是否有汽车购买意愿存在正相关的关系。

确定模型的最优预测概率截止值

默认的截止预测概率分数为0.5或训练数据中1和0的比值。 但有时，调整概率截止值可以提高开发和验证样本的准确性。InformationValue :: optimalCutoff功能提供了找到最佳截止值以提高1，0，1和0的预测的方法，并减少错误分类错误。 可以计算最小化上述模型的错误分类错误的最优分数。

misClassError(testData$是否有汽车购买意愿.1买0不买., predicted, threshold = optCutOff)

ROC

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

上述型号的ROC曲线面积为61％，相当不错。

一致性

简单来说，在1-0  的所有组合中，一致性是预测对的百分比 ，一致性越高，模型的质量越好。

 上述的61％的一致性确实是一个很好的模型。

特异性和敏感性

敏感度（或真正正率）是模型正确预测的1（实际）的百分比，而特异性是0（实际）正确预测的百分比。 特异性也可以计算为1-假阳性率。

 specificity(testData$是否有汽车购买意愿.1买0不买., predicted, threshold = optCutOff)

 以上数字是在不用于训练模型的验证样本上计算的。 所以测试数据的真实检测率为99％是好的。