---

---

LogisticModel<- glm(Credit ~ Account + Payment + Purp + Length.of.current + Sex, family = binomial, data = credit)

完成后，我们继续将我们刚刚创建的模型拟合到测试集i_test1上，并准备进行第一次预测。

我们已经拟合了模型。现在我们将使用ROCR包来创建预测，并以曲线下面积（AUC）来衡量性能。AUC越大，说明我们的模型表现越好。

perf1 <- performance(pred1, 'tpr', 'fpr')

我们将通过寻找AUC来结束这一部分。

AUCLog1

方法二：另一种Logistic模型

在这种方法中，我们将建立第二个Logistic逻辑模型来利用我们数据集中的所有变量。其步骤与上述第一个模型相同。

perf2 <- performance(pred2, 'tpr', 'fpr')
plot(perf2)

请再次注意，我们正在研究我们模型中的所有变量，找到它们对我们感兴趣的变量–信用度的影响。

TreeModel <- rpart(Creditability ~ ., data = credit\[i_calibration1, \])
library(rpart.plot)
prp(TreeModel, type = 2, extra = 1)

perf3 <- performance(pred3, 'tpr', 'fpr')
plot(perf3)

考虑到我们的树状模型的复杂性，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。

方法四：随机森林

与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 “森林”。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。

随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 “平均 “树可以帮助避免这个问题。

你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。

randomForest(Credit ~ )

通过努力，我们得到了一个有点改进的结果。随机森林模型是我们所尝试的四个模型中表现最好的。但是，这需要判断结果是否值得付出额外的努力。

方法五：比较随机森林和Logistic模型

好了，我们已经看了使用两种基本分析方法的各种结果–逻辑回归和决策树。我们只看到了以AUC表示的单一结果。

随机森林方法要求我们创建一个决策树的森林，并取其模式或平均值。为什么不利用所有这些数据呢？它们会是什么样子呢？

下面的代码创建了一个图表，描述了我们的随机森林中每棵树的AUC分数和逻辑模型的数百种组合。

首先我们需要一个函数来进行分析。

function(i){
        i_test2 <- sample(1:nrow(credit), size = 333)

        summary(LogisticModel.3)
        fitLog3 <- predict(LogisticModel.3, type = 'response', newdata = credit\[i_test2,

这部分代码的运行需要一段时间，因为我们要对数百个单独的结果进行列表和记录。你可以通过改变VAUC对象中的计数来调整模型中的结果数量。在这里，我们选择计算200个x-y对，或400个单独的结果。

plot(t(VC))

你可以看到，我们从前四个模型中得到的结果正好处于分布的中间。

这为我们证实了这些模型都是有可比性的。我们所希望的最好结果是AUC达到0.84，而且大多数人给我们的结果与我们已经计算的结果相似。

但是，让我们试着更好地可视化。

首先，我们将对象转换成一个数据框架。

我们创建几个新图。第一个是密度等高线图。

plot(AA, aes(x = V1, y = V2)

第二张是高密度等高线图，给我们提供了数据的概率区域。

with(AA, boxplot(V1, V2))

无论我们以何种方式描述我们的结果，都必须使用数据来做出合理的贷款决定。这里有一个问题？

这些可能是我们使用这些模型所能得出的最佳分数，但这些结果对于确定贷款申请人的信用价值是否可以接受？这取决于贷款机构所使用的信用标准。

在最好的情况下，看起来我们的模型给了82%的机会向良好的信用风险提供贷款。对于每100万元的贷款，我们最多可能期望得到82万元的偿还。平均而言，我们预计会收回大约78万元的本金。换句话说，根据我们的分析，有75%到80%的机会重新获得100万元的贷款，这取决于我们使用的建模方法。

当我们把贷款申请人加入我们的数据库时，如果我们要把他们视为良好的信贷风险，我们希望他们聚集在高密度图的最暗区域。

除非我们收取大量的利息来弥补我们的损失，否则我们可能需要更好的模型。