---

作者

---

可下载资源

---

本文分析的数据、代码、报告分享至会员群

问题提出与假设

（一）提出问题

1. 数据处理及变量筛选：对 1974 个化合物的 729 个分子描述符进行变量选择，依重要性排序并给出前 20 个对生物活性影响显著的分子描述符，说明筛选过程合理性。

（二）问题假设

假设涉及化合物数据测量正确、分子结构描述符间相互影响、数据丢失判定、取值范围界定、预测模型结果准确性以及模型连续性等方面，为后续研究提供前提条件。

 

​

​编辑

变量筛选 ​

​

 ​编辑

（二）CatBoost

CatBoost 是基于对称决策树为基学习器的 GBDT 框架，参数少、支持类别型变量且准确性高，主要解决高效合理处理类别型特征的问题。 ​

​
# # # 训练模型 # # #
other_params = {
'iterations': 3000, # 最大树数
'learning_rate': 0.028, # 学习率
'l2_leaf_reg': 3, # l2正则参数
39'bagging_temperature': 1, # 贝叶斯套袋控制强度
'random_strength': 1, # 分数标准差乘数
'depth': 6, # 树深
'rsm': 1, # 随机子空间（Random subspace method）
'one_hot_max_size': 50, #
如果feature包含的不同值的数目超过了指定值， 将feature转化为float。
'leaf_estimation_method': 'Gradient', #
计算叶子值的方法， Newton/ Gradient。
'fold_len_multiplier': 2, #
folds长度系数。 设置大于1的参数， 在参数较小时获得最佳结果。
'border_count': 128,
'allow_writing_files': False # 不允许生成日志文件
}
model = CatBoostRegressor(**other_params)
model.fit(X_train, y_train)

​

---

---

​

 ​编辑

评判标准

（一）平均绝对误差（MAE）

MAE 表示预测值和观测值之间绝对误差的平均值，能准确反映实际预测误差大小 ​

​

 ，计算公式为：

# m表示样本数，yi表示i样本对应的真实的pIC50值，yˆi表示i样本对应的预测pIC50值
MAE = (1 / m) * sum(abs(yi - yˆi)) 

（二）均方误差（MSE）

MSE 是参数估计值与参数真值之差平方的期望值，可评价数据变化程度，值越小说明预测模型精确度越高，计算公式为： ​

​

​编辑

​编辑 

实验结果展示及分析

（一）构建化合物对 ERα 生物活性的定量预测模型

DNN 深度神经网络的 MAE、MSE、RMSE、RT 四个指标普遍高于其他普通机器学习模型，尤其是运行时间远高于其他模型，表明深度学习预测模型不适合本题应用场景。

​

​编辑

（二）构建 ADMET 性质的分类预测模型

不同模型对化合物的 ADMET 数据预测结果不同，如 CatBoost 对 hERG、HOB 的 F1 分数和 Accuracy 分数比其余四个模型都要高，LightGBM 对 MN 的 F1 分数和 Accuracy 分数比部分模型要高，XGBoost 对 Caco – 2、CYP3A4 的 F1 分数和 Accuracy 分数比其余四个模型都要高。 ​

​

​编辑

​编辑

​编辑 ​编辑​编辑

（三）变量优化

通过对原始数据分析，可观察出在 ADMET 性质取得最好和 pIC50 值最大之间存在负相关联系，且根据不同 ADMET 分数对应的 pIC50 取值范围假设，为进一步研究提供参考。 ​

​

​编辑​编辑​编辑

上文中的遗传算法中，我们已经得到了 pIC50 取值最大时的各个分子描述符的取值 X0 = (x1, x2…, xn)（xi 表示第 i 的分子描述符）。遗传算法运行过程中pIC50 变化如下图所示: ​

​

 
​编辑 

 Python信贷风控模型：梯度提升Adaboost,XGBoost,SGD, GBOOST, SVC,随机森林, KNN预测金融信贷违约支付和模型优化|附数据代码

在此数据集中，我们必须预测信贷的违约支付，并找出哪些变量是违约支付的最强预测因子？以及不同人口统计学变量的类别，拖欠还款的概率如何变化？

有25个变量： ​

​

1. ID： 每个客户的ID
2. LIMIT_BAL： 金额
3. SEX： 性别（1 =男，2 =女）
4.教育程度：（1 =研究生，2 =本科，3 =高中，4 =其他，5 =未知）
5.婚姻： 婚姻状况（1 =已婚，2 =单身，3 =其他）
6.年龄：
7.  PAY_0：  2005年9月的还款状态（-1 =正常付款，1 =延迟一个月的付款，2 =延迟两个月的付款，8 =延迟八个月的付款，9 =延迟9个月以上的付款）
8. PAY_2：  2005年8月的还款状态（与上述相同）
9. PAY_3： 2005年7月的还款状态（与上述相同）
10. PAY_4：  2005年6月的还款状态（与上述相同）
11. PAY_5：  2005年5月的还款状态（与上述相同）
12. PAY_6： 还款状态2005年4月 的账单（与上述相同）
13. BILL_AMT1： 2005年9月的账单金额
14. BILL_AMT2：  2005年8月的账单金额
15. BILL_AMT3： 账单金额2005年7月 的账单金额
16. BILL_AMT4： 2005年6月的账单金额
17. BILL_AMT5：  2005年5月的账单金额
18. BILL_AMT6： 2005年4月
19. PAY_AMT1  2005年9月，先前支付金额
20. PAY_AMT2  2005年8月，以前支付的金额
21. PAY_AMT3： 2005年7月的先前付款
22. PAY_AMT4：  2005年6月的先前付款
23. PAY_AMT5：  2005年5月的先前付款
24. PAY_AMT6： 先前的付款额在2005年4月
25. default.payment.next.month： 默认付款（1 =是，0 =否）

现在，我们知道了数据集的整体结构。因此，让我们应用在应用机器学习模型时通常应该执行的一些步骤。

第1步：导入

import numpy as np
import matplotlib.pyplot as plt

所有写入当前目录的结果都保存为输出。

dataset = pd.read_csv('Card.csv')

现在让我们看看数据是什么样的

​编辑

第2步：数据预处理和清理

dataset.shape

(30000, 25)

意味着有30,000条目包含25列

​编辑

从上面的输出中可以明显看出，任何列中都没有对象类型不匹配。

#检查数据中Null项的数量，按列计算。
dataset.isnull().sum()

​编辑

步骤3.数据可视化和探索性数据分析

# 按性别检查违约者和非违约者的计数数量
sns.countplot

​编辑

从上面的输出中可以明显看出，与男性相比，女性的整体拖欠付款更少

​编辑

可以明显看出，那些拥有婚姻状况的人的已婚状态人的默认拖欠付款较少。

​编辑

​编辑

sns.pairplot

​编辑

sns.jointplot

​编辑

男女按年龄分布

g.map(plt.hist,'AGE')

​编辑

dataset['LIMIT_BAL'].plot.density

​编辑

步骤4.找到相关性

X.corrwith

​编辑

从上图可以看出，最负相关的特征是LIMIT_BAL，但我们不能盲目地删除此特征，因为根据我的看法，这对预测非常重要。ID无关紧要，并且在预测中没有任何作用，因此我们稍后将其删除。

# 绘制热图
sns.heatmap(corr)

​编辑

步骤5：将数据分割为训练和测试集

训练数据集和测试数据集必须相似，通常具有相同的预测变量或变量。它们在变量的观察值和特定值上有所不同。如果将模型拟合到训练数据集上，则将隐式地最小化误差。拟合模型为训练数据集提供了良好的预测。然后，您可以在测试数据集上测试模型。如果模型在测试数据集上也预测良好，则您将更有信心。因为测试数据集与训练数据集相似，但模型既不相同也不相同。这意味着该模型在真实意义上转移了预测或学习。

因此，通过将数据集划分为训练和测试子集，我们可以有效地测量训练后的模型，因为它以前从未看到过测试数据，因此可以防止过度拟合。

我只是将数据集拆分为20％的测试数据，其余80％将用于训练模型。

 train_test_split(X, y, test_size = 0.2, random_state = 0)

步骤6：规范化数据：特征标准化

对于许多机器学习算法而言，通过标准化（或Z分数标准化）进行特征标准化可能是重要的预处理步骤。

许多算法（例如SVM，K近邻算法和逻辑回归）都需要对特征进行规范化，

min_test = X_test.min()
range_test = (X_test - min_test).max()
X_test_scaled = (X_test - min_test)/range_test

步骤7：应用机器学习模型

from sklearn.ensemble  import AdaBoostClassifier
adaboost =AdaBoostClassifier()

​编辑

xgb_classifier.fit(X_train_scaled, y_train,verbose=True)
end=time()
train_time_xgb=end-start

​编辑

应用具有100棵树和标准熵的随机森林

classifier = RandomForestClassifier(random_state = 47, 
                                    criterion = 'entropy',n_estimators=100)

​编辑

svc_model = SVC(kernel='rbf', gamma=0.1,C=100)

​编辑

knn = KNeighborsClassifier(n_neighbors = 7)

​编辑

步骤8：分析和比较机器学习模型的训练时间

Train_Time = [
    train_time_ada,
    train_time_xgb,
    train_time_sgd,
    train_time_svc,
    train_time_g,
    train_time_r100,
    
    train_time_knn
]

​编辑

从上图可以明显看出，与其他模型相比，Adaboost和XGboost花费的时间少得多，而其他模型由于SVC花费了最多的时间，原因可能是我们已经将一些关键参数传递给了SVC。

步骤9.模型优化

在每个迭代次数上，随机搜索的性能均优于网格搜索。同样，随机搜索似乎比网格搜索更快地收敛到最佳状态，这意味着迭代次数更少的随机搜索与迭代次数更多的网格搜索相当。

在高维参数空间中，由于点变得更稀疏，因此在相同的迭代中，网格搜索的性能会下降。同样常见的是，超参数之一对于找到最佳超参数并不重要，在这种情况下，网格搜索浪费了很多迭代，而随机搜索却没有浪费任何迭代。

现在，我们将使用Randomsearch cv优化模型准确性。如上表所示，Adaboost在该数据集中表现最佳。因此，我们将尝试通过微调adaboost和SVC的超参数来进一步优化它们。

参数调整

现在，让我们看看adaboost的最佳参数是什么

random_search.best_params_

{'random_state': 47, 'n_estimators': 50, 'learning_rate': 0.01}

​编辑

random_search.best_params_

{'n_estimators': 50, 'min_child_weight': 4, 'max_depth': 3}

​编辑

random_search.best_params_

{'penalty': 'l2', 'n_jobs': -1, 'n_iter': 1000, 'loss': 'log', 'alpha': 0.0001}

​编辑

出色的所有指标参数准确性，F1分数精度，ROC，三个模型adaboost，XGBoost和SGD的召回率现已优化。此外，我们还可以尝试使用其他参数组合来查看是否会有进一步的改进。

ROC曲线图

    auc = metrics.roc_auc_score(y_test,model.predict(X_test_scaled))

plt.plot([0, 1], [0, 1],'r--')

​编辑

# 计算测试集分数的平均值和标准差
test_mean = np.mean

# 绘制训练集和测试集的平均准确度得分
plt.plot
# 绘制训练集和测试集的准确度。
plt.fill_between

​编辑

验证曲线的解释

如果树的数量在10左右，则该模型存在高偏差。两个分数非常接近，但是两个分数都离可接受的水平太远，因此我认为这是一个高度偏见的问题。换句话说，该模型不适合。

在最大树数为250的情况下，由于训练得分为0.82但验证得分约为0.81，因此模型存在高方差。换句话说，模型过度拟合。同样，数据点显示出一种优美的曲线。但是，我们的模型使用非常复杂的曲线来尽可能接近每个数据点。因此，具有高方差的模型具有非常低的偏差，因为它几乎没有假设数据。实际上，它对数据的适应性太大。

从曲线中可以看出，大约30到40的最大树可以最好地概括看不见的数据。随着最大树的增加，偏差变小，方差变大。我们应该保持两者之间的平衡。在30到40棵树的数量之后，训练得分就开始上升，而验证得分开始下降，因此我开始遭受过度拟合的困扰。因此，这是为什么30至40之间的任何数量的树都是一个不错的选择的原因。

结论

因此，我们已经看到，调整后的Adaboost的准确性约为82.95％，并且在所有其他性能指标（例如F1分数，Precision，ROC和Recall）中也取得了不错的成绩。

此外，我们还可以通过使用Randomsearch或Gridsearch进行模型优化，以找到合适的参数以提高模型的准确性。

我认为，如果对这三个模型进行了适当的调整，它们的性能都会更好。

---

通过ARIMA、XGBOOST、PROPHET和LSTM预测比特币价格|附数据代码

 比特币作为一种持续占据世界头条并日益流行的加密货币，随着越来越多的人和组织开始采用它。在本文中，我将测试4种不同的Python机器学习模型对比特币预测能力：ARIMA、Prophet、XGBoost和LSTM。通过将数据划分为测试集和训练集，我将比较每个模型的性能，并得出哪个模型表现最佳。

测试模型的标准程序

每个模型将在数据的前70%上进行训练，并在最后30%上进行测试。比特币数据将被重新采样为天，并仅限于过去4年的数据（从2021年3月31日起）。

每个模型的均方根误差（RMSE）将决定哪个模型最佳。RMSE是残差的标差——或者更简单地说，是残差分布的分散程度。

1. 探索性数据分析（EDA）

导入库：

python# 导入所需的库
import numpy as np
import pandas as pd
import datetime as dt
import seaborn as sns 
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error
from math import sqrt
from pandas.plotting import autocorrelation_plot

读取数据集到数据框：

python# 将数据集读取到数据框中


df.head()

​编辑

绘制比特币价格随时间变化的图表：

python复制# 绘制比特币价格随时间变化的图表

plt.tight_layout()

正如图表所示，2017-2021年的价格行为与2012-2017年有显著不同

​编辑

绘制自相关图，查看时间序列中是否存在大量的滞后：

python复制# 绘制自相关图，查看时间序列中是否存在大量的滞后
autocorrelation_plot(df)
plt.show()

​编辑

查看过去200天的数据，可能需要调整数据以适应这个时间段：

python复制# 查看过去200天的数据，可能需要调整数据以适应这个时间段
df.Weighted_Price.iloc[-200:].
figsize=(14,6))
plt.tight_layout()


plt.show()

​编辑

df2.Weighted_Price.plot(title = "Bitcoin Price", figsize=(14,6))
plt.tight_layout()
plt.xlabel('Dates')
plt.ylabel('$ Price')
plt.show()

​编辑

数据看起来对于训练模型更为相关。然而，最近的峰值将涉及测试数据分割 – 这是一个艰难的预测。

1. ARIMA滚动预测

首先，我创建了一个ARIMA滚动预测模型，以获得一个优秀的RMSE基线。然而，由于这个模型是按滚动的日增量进行预测的，与其他模型进行比较并不公平。如图所示，预测值以红色显示，实际价格以蓝色显示。然而，我们必须放大更多才能区分两者。
评估预测：

# 评估预测 rmse = sqrt(mean_squared_error(test, predictions)) print(
# 绘制预测与实际结果的对比图 plt.plot(test) plt.plot(predictions, color='red') plt.show()

​编辑

​编辑

plt.plot(predictions, color='red')
plt.xlabel('Days')
plt.ylabel('$ Price')
plt.title('Predicted vs. Actual BTC Price')
plt.show()

Test RMSE: 914.737

​编辑

plt.plot(predictions[-50:], color='red')
plt.xlabel('Days')
plt.ylabel('$ Price')
plt.title('Predicted vs. Expected BTC Price Forecast')
plt.show()

​编辑

​编辑

2. PROPHET模型

Prophet库是由Facebook开发的开源库，专为时间序列数据的自动预测而设计。该模型主要关注趋势和季节性的预测。但由于其易用性，我决定首先使用默认设置来实现这个模型。如图所示，先知模型预测比特币价格将会下跌。此外，该模型还提供了上限和下限的估计值（阴影区域的边缘）。虽然上限估计的斜率方向准确，但与测试数据相比，这个模型表现不佳。

频率为天，周期为测试数据的长度：

# 频率为天，周期为测试数据的长度 future = model.make_future_dataframe(periods=len(test), freq='D') forecasting = model.predict(future) # 存储预测结果并返回RMSE y_true = test['y'].values y_pred = forecasting.yhat.values[-len(test):]

​编辑

​编辑

# 绘制预测图 model.plot(forecasting)
plt.ylabel('$ Price')
plt.xlabel('Date')
plt.show()

​编辑

​编辑

3. ARIMA模型

接下来是ARIMA模型，它是自回归积分滑动平均（AutoRegressive Integrated Moving Average）的缩写。ARIMA是一种广泛使用的统计方法，用于分析和预测时间序列数据。它由一组时间序列数据的标准结构组成，并提供了一种简单而强大的方法来进行熟练的时间序列预测。ARIMA模型有3个参数（p, d, q），这些参数指示正在使用的特定ARIMA模型。我只是应用了我以前在不同的时间序列数据上使用过的参数，这可能导致模型不利。

# 按照常规方法将数据分为70%的训练集和30%的测试集
price = df2.Weighted_Price  # 获取比特币加权价格数据
X = price.values  # 将价格数据转换为数值数组
datesX = price.index  # 获取价格数据的索引（日期）
size = int(len(X) * 0.70)  # 计算训练集的大小
train, test = X[0:size], X[size:len(X)]  # 分割数据为训练集和测试集
days_in_year = 365  # 定义一年中的天数
plotDates = datesX[size:len(X)]  # 获取测试集的日期索引，用于后续绘图

# 使用ARIMA模型进行预测，参数设置为(5,1,0)
differenced = difference(train, days_in_year)  # 对训练数据进行差分处理，以满足ARIMA模型的平稳性要求
model = ARIMA(differenced, order=(5, 1, 0))  # 初始化ARIMA模型，参数p=5, d=1, q=0
model_fit = model.fit()  # 拟合模型
start_index = len(differenced)  # 预测的起始索引
end_index = start_index + 438  # 预测的结束索引，这里选择了438步进行预测
forecast = model_fit.predict(start=start_index, end=end_index)  # 进行预测

history = [x for x in train]  # 初始化历史数据列表，用于存储训练数据
day = 1  # 初始化天数计数器
predicted_results = list()  # 初始化预测结果列表

​编辑

​编辑

​编辑

​编辑

​编辑

​编辑

​编辑

4. LSTM模型

长短期记忆（LSTM）模型是一种能够学习观察序列的循环神经网络。这使它们成为适合时间序列预测的深度学习网络。然而，通常LSTM在处理像比特币这样波动大且难以预测的时间序列数据集时会遇到困难。经过艰苦的过程尝试应用我的数据后，我终于训练了模型。在最后的拟合中，我使用了50个周期和“adam”优化器。

model.compile(loss="mean_squared_error",optimizer="adam")

# fit the model to the training data
model.fit(x_train,y_train,epochs=50,batch_size=32)

​编辑

plt.xticks(x, labels, rotation = 'vertical')
plt.xlabel('Time')
plt.ylabel('$ Price')
plt.legend(loc=4, prop={'size': 14})
plt.show()

​编辑

​编辑

5. XGBOOST模型

XGBoost是目前最流行的机器学习算法之一。无论手头的预测任务是回归还是分类。XGBoost以其比其他机器学习算法提供更好的解决方案而闻名。事实上，自从它诞生以来，它已经成为处理结构化数据的“最新技术”机器学习算法。然而，在这种情况下，我们将在时间序列数据上使用它。因此，模型需要从日期时间索引创建时间序列特征 – 用于在预测时与其目标价格标签一起使用。不幸的是，最终模型表现不佳。

​编辑

​编辑

​编辑

​编辑

6. 结论

最终结果如下所示。长短期记忆模型在处理像比特币价格这样波动大且难以预测的数据时，被证明是最有效的。这个比特币数据集包含了极其波动和异常的时间序列数据。因此，我发现模型在预测最近439天的价格时遇到了困难，我并不感到惊讶。此外，我承认我本可以选择更好、更明智的参数，以便让这些模型和库的结果更公平。然而，我认为LSTM模型的低RMSE证明了神经网络在机器学习中的强大能力。我期待在未来更深入地探索RNN在金融时间序列数据中的应用！

ax.bar(modelz,nums)
plt.xlabel('Models')
plt.ylabel('RMSE')
plt.title('RMSE of the Models')
plt.show()
plt.show()

​编辑

SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost分析严重不平衡的破产数据|附数据代码

本文旨在探讨如何有效处理并分析严重不平衡的破产数据，采用XGBoost模型作为主要分析工具。数据集包含实体的多种特征和财务比率，目标变量为公司未来几年是否破产（1表示破产，0表示未破产）。通过一系列预处理步骤，包括缺失值处理、多重共线性检查、异常值分析以及通过K-means聚类探索数据分布，本文最终实现了对不平衡数据的有效重采样，并评估了多种机器学习模型在破产预测任务上的性能。

数据预处理

数据导入与探索

首先，使用pandas库导入数据集，并设置实体ID为索引：

df = pd.read_csv('train.csv')
df.set_index('ID', inplace = True)

df.head()

数据不平衡性

初步分析表明数据存在严重的不平衡性，这是破产预测任务中常见的挑战。不平衡性可能源于罕见但影响重大的事件发生。

​编辑

​编辑

缺失值处理

对于数据中的缺失值，采用适当的插补策略以确保数据完整性。通过可视化缺失值矩阵，可以直观地了解缺失值的分布情况。

plt.figure(figsize=(16,6))
msno.matrix(X_df,labels = True, color=(0.20,0.15,0.45))

​编辑

多重共线性检查

通过绘制热图检查特征之间的多重共线性问题，以避免模型训练过程中的信息冗余和过拟合风险。

fig, ax = plt.subplots(figsize=(16,12)) 

​编辑

plt.xticks(rotation=90)

​编辑

​编辑

异常值处理

虽然识别出存在跨越多个标准差的异常值，但鉴于缺乏领域专业知识，未直接删除这些异常值，以避免可能的信息损失。

数据探索与聚类分析

K-means聚类

采用K-means聚类算法探索数据在特征空间中的分布特性，通过肘部法则确定最佳聚类数。结果显示数据多样性较高，可能包含多个潜在的子群体。

​编辑

数据是多种多样的，许多实体分布在特征空间中。

因此，我们的数据可能属于 2 个以上的类，因为在聚类 = 2 时，方差似乎有点偏离。

数据重采样

SMOTE技术

针对数据的高度不平衡性，应用SMOTE（Synthetic Minority Over-sampling Technique）技术进行过采样。通过生成少数类（破产）的合成样本，平衡数据集，从而提高模型对少数类的识别能力。

X_res, Y_res = sm.fit_sample(X_train, Y_train)

模型评估与选择

模型应用

将逻辑回归、SVM、随机森林、AdaBoost和XGBoost等模型应用于处理后的数据集，评估它们在破产预测任务上的性能。

pd.DataFrame(predictors).T

​编辑

性能比较

通过多次实验调整SMOTE中的过采样比率，并对比不同模型在召回率上的表现。结果显示，XGBoost模型在0.11214的打击率下取得了最高的召回率，表明其在处理不平衡数据方面的优势。

smote_values = np.linspace(0.065, 0.125, num= 15)
smote_values

​编辑

​编辑

召回分数是我们感兴趣的。召回率显示了我们的模型将正值预测为正值的能力。由于我们的数据高度不平衡，因此任何模型都很难获得更好的召回率。有时模型忽略了少数群体。

​编辑

结论

综上所述，XGBoost模型在破产预测任务中表现优异，特别是在处理严重不平衡的数据集时，其高召回率证明了其在识别少数类（破产公司）方面的有效性。通过合理的数据预处理、重采样策略以及模型选择，本文为类似的不平衡分类问题提供了一种有效的解决方案。未来的研究可以进一步探索更多先进的重采样技术和模型优化策略，以提升模型的整体性能。

 ​编辑

---

关于分析师

在此对Yang Yang对本文所作的贡献表示诚挚感谢，他完成了电子信息（计算机技术）专业的硕士学位，专注于深度学习、机器学习等领域。擅长 R 语言、Python、mysql、tableau、Java 等技术。