任务/目标

通过分析多种影响收入的数据，构建影响个人收入的模型，实现对个人收入预测，并根据模型结果为教育部等相关部门提出建议。

探索性分析

利用成对分析和热力图，对大量的变量和数据之间的关系进行观察和预测。

---

---

建模

由于变量数过大，我们对训练数据采用了简单线性回归、多重线性回归、线性样条、带多个节点的线性样条、多项式回归、变量间相互作用、对数转换、指数转换等多个建模方式，并定义前向选择和逆向选择的函数，协助进行高效建模，最终从20多个模型中选取表现最好的前八个模型。

log-interaction11采用正常最小二乘方回归的方程结果如下：

教育、工作经验、是否结婚和是否在城市生活的交互作用、年纪和知识面的交互作用、智商和母亲教育程度的交互作用、教育和是否为黑种人的交互作用组成了最终预测工作水平准确度最高的模型。

Python对工资影响的回归分析及偏差探讨|附代码数据

接下来，我们将尝试估算多接受一年教育对小时工资的影响。进行教育实验是非常困难的。你不能简单地将人们随机分配到 4 年、8 年或 12 年的教育。

model_1.summary().tables[1]

对工资与教育年限进行简单回归，估计出回归系数 β1 为 0.0536，95% 置信区间为 (0.039, 0.068)。这意味着该模型预测每增加一年教育，工资将增长约 5.3%。

仅考虑教育变量的简单模型可能存在偏差。首先，数据并非来自随机实验，接受更多教育的人与接受较少教育的人可能不可比。其次，从对世界的理解来看，受教育年限更多的人可能有更富裕的父母，工资随教育增加可能只是家庭财富与教育年限相关的反映。此外，教育也可能因让人远离劳动力市场而降低工资。

引入其他变量的多元回归分析

（一）变量选择
在数据中，我们可以获得其他变量，如父母教育程度（meduc、feduc）、个人智商（IQ）、工作经验（exper）、任期（tenure）以及婚姻和种族的虚拟变量等。

kappa = t_tilde.cov(y) / t_tilde.var()kappa

通过引入这些变量进行多元回归分析，估计出在控制其他因素后，每增加一年教育与小时工资增长 4.11% 相关。这证实了简单模型存在偏差且高估了教育的影响。

model_2.summary().tables[1]

遗漏变量或混杂偏差

偏差来源
以教育对工资的影响为例，未控制智商等变量时，教育对工资的影响也包含了其他未纳入模型变量的影响，这是遗漏变量偏差的来源，即混杂变量影响了处理变量和结果变量。

g.edge("Police", "Violence", color="blue")g

因果图分析

1. 以教育对工资的影响为例，因果图显示教育导致工资，同时智商也导致工资和教育。如果不考虑智商变量，其对工资的影响会通过与教育的相关性使教育对工资的影响看起来比实际更高，这是正偏差的例子。
2. 以警察对城市暴力的影响为例，城市警力增加与暴力增加相关，但可能存在混杂变量犯罪，犯罪导致更多暴力和更多警力。如果不考虑犯罪变量，犯罪对暴力的影响会通过警力使警力看起来增加了暴力，这是负偏差的例子。

回归与随机对照试验解决偏差的方法
回归分析通过将混杂变量固定在一定水平来比较处理变量的影响，而随机对照试验通过切断混杂变量与处理变量的联系来解决偏差问题。

Python机器学习：回归、决策树、梯度提升、岭回归薪资预测分析|附代码数据

接下来本文对 数据集进行了全面分析，旨在基于年龄、工作年限、性别和职位等多个特征来预测薪资。通过广泛的数据处理、可视化以及机器学习方法，我们获得了有价值的见解并构建了具有高准确性的预测模型。

数据处理流程定义

（一）使用 ColumnTransformer 进行数据预处理
确定分类特征和数值特征，分类特征包括 “Gender”（性别）、“Education Level”（教育水平）、“Job Title”（职位），数值特征包括 “Age”（年龄）、“Years of Experience”（工作年限）。

import numpy as npcat_features = ['Gender', 'Education Level', 'Job Title']num_features = ['Age', 'Years of Experience']

定义超参数分布字典

为不同的回归模型定义超参数分布字典，例如 “LinearRegression”（线性回归）和 “DecisionTreeRegressor”（决策树回归器），设置不同的超参数取值范围，如线性回归的截距设置以及决策树回归器的最大深度、最小分割样本数和最小叶子样本数等。

param_distributions = {    'LinearRegression': {        'regressor__fit_intercept': [True, False],    },    'DecisionTreeRegressor': {        'regressor__max_depth': [None] + list(np.arange(1, 21)),        'regressor__min_samples_split': np.arange(2, 21),        'regressor__min_samples_leaf': np.arange(1, 21)    },

使用 RandomizeSearchCV 进行超参数优化

将数据集划分为训练集和测试集，对于不同的模型进行超参数优化，记录每个模型的最佳模型、最佳参数和最佳得分。

best_models = dict()best_params = dict()best_score = dict()X_train, X_test, y_train, y_test = train_test_split(X.values, y.values, train_size=.8)for model in param_distributions.keys():

模型性能评估与可视化

（一）绘制模型性能图
通过比较不同模型的性能，可以看出 “GradientBoostingRegressor”（梯度提升回归器）具有最佳性能。

（二）绘制预测结果与真实目标变量的散点图

以 “GradientBoostingRegressor” 模型为例，使用最佳模型对测试集进行预测，然后绘制预测结果与真实目标变量的散点图，以直观地展示模型的预测效果。

model = 'GradientBoostingRegressor'y_pred = best_models[model].predict(X_test)# y_pred = pipeline.predict(X_test)

总结

尽管命运或许在某种程度上被决定了，但我们仍然可以通过自己的努力和持续学习来改变自己的命运。在大数据的助力下，我们有望更加精准地预测和解释个人收入的差异，为每个人创造更加公平和美好的未来。

关于分析师