电动车购买意向预测AI智能体:LightGBM、XGBoost、CatBoost融合折内目标编码
排名745/3576(前20.83%)、Private ROC AUC 0.94536,附代码、数据、AI智能体与skill
成为新会员获取本项目完整报告、代码、数据和AI智能体
视频出处:拓端抖音号@拓端tecdat
封面:

关于分析师
在此对 Junxi Shi对本文所作的贡献表示诚挚感谢。他在哈尔滨理工大学攻读数据科学与大数据技术专业本科学位,专注数据清洗与指标体系搭建、业务数据分析与数据可视化,并持续实践 AI 智能体协作开发(Codex、Claude)。擅长 Python(pandas、numpy、matplotlib)、SQL 与 Excel。Junxi Shi 曾在中国人寿收展团队完成数据工作,并在 NemoVideo 参与运营实习。
内容提要
- TL;DR:本文用AI智能体协作完成电动车购买意向预测:折内目标编码与三模型等权融合,私榜745/3576(前20.83%)、AUC 0.94536;附门控预注册全流程代码、数据与skill。
摘要与关键词
本文围绕一次电动车购买意向预测建模实践回答四个问题:一是在可控、可审计、不泄露凭据的前提下,AI编程智能体能否走完从数据审计到正式提交的全流程;二是性能瓶颈在调参还是特征表示;三是如何防止目标编码泄漏与排行榜过拟合;四是审查意见不一致时如何决策。最终私榜排名745/3576(前20.83%),Private AUC 0.94536,与冠军相差0.00066。
关键词:电动车购买意向预测;LightGBM;XGBoost;CatBoost;折内目标编码;模型融合;AI智能体;提交门控
Abstract
This article answers four questions about an electric-vehicle purchase-intention prediction task: (1) Can AI coding agents complete the whole pipeline from data audit to formal submission under auditable, credential-safe boundaries? (2) Is the bottleneck hyperparameter tuning or feature representation? (3) How to prevent target-encoding leakage and leaderboard overfitting? (4) How to decide when reviewers disagree? The final private ranking is 745/3576 (top 20.83%), with a private AUC of 0.94536, only 0.00066 behind the champion.
Keywords: EV purchase intention prediction; LightGBM; XGBoost; CatBoost; within-fold target encoding; model blending; AI agent; submission gating
本项目完整报告、代码、数据和AI智能体
研究背景与痛点:电动车购买意向预测为什么难
本文基于 668,665 行训练样本,完成电动车购买意向预测(二分类,正样本约占 17.5%)任务:在分层 5 折交叉验证与提交门槛约束下,LightGBM、XGBoost、CatBoost 等权融合模型取得私榜 745/3576(前 20.83%)、Private ROC AUC 0.94536(该结论限定于本次竞赛数据与提交口径);全链路最终封装为对话式AI智能体与可复用skill,附提交门控、凭据扫描、预注册决策记录与完整代码。
表格数据的二分类建模是机器学习落地里最常见的任务类型,电动车购买意向预测又是其中业务口径非常典型的一类:特征横跨年龄、收入、通勤、充电条件与补贴政策,样本量达到数十万行,类别不平衡(正样本约 17.5%),对验证设计的严谨性要求很高。这类项目最容易出事的三个地方,一是目标编码把验证集信息漏进训练,二是对公开排行榜过拟合,三是自动化脚本把账号凭据写进日志——本文的整套机制都是围绕这三个风险点设计的。
技术方案总览:AI智能体协作与提交门控
全文脉络如下:
竞赛任务与授权边界
|
v
数据审计
|
v
基线模型(逻辑回归)
|
+--------+--------+
| |
v v
换模型调深度 特征表示改造
(三、四轮) (第五轮新特征)
| |
+--------+--------+
|
v
预注册等权融合
|
v
门控审查与正式提交
|
v
私榜核验与经验沉淀
AI智能体协作机制与授权边界

图1 候选提交流程:任一环节不通过即停止
协作机制有六条硬规则:
- 双模式与证据边界:AUTO_COMPETE 由 AI 智能体自动完成数据审计、建模与提交流程;COACHED_COMPETE 用于另一场比赛,由本人亲手完成核心代码。自动结果不得记为个人独立成果。
- 最小授权:只授权本场比赛的数据下载、建模运行和通过审查后的常规提交;付费、账号权限变更、公开发布一律不在授权内。
- 提交门槛:每个正式候选要满足——本地 OOF AUC 至少比当前基准高 0.001,且历史五折逐折全部为正;公开排行榜只做故障检测,不参与选模,避免对排行榜过拟合。
- 预注册:训练前先把候选定义、融合规则、最终选择规则写进决策记录,再开始训练,防止事后挑结果。
- 多模型委员会:候选提交前,把脱敏的方法摘要发给多个网页大模型审查,记录实际参与成员、反对意见和本地复核结论。委员会只给建议,提交授权来自本人。
- 凭据隔离与审计:竞赛账号凭据存放在项目目录之外;审计日志、记忆候选在写入前都会做泄漏模式扫描;外发内容不含原始数据、代码全文、账号资料和本地路径。
角色分工如下(如实说明):
| 参与方 | 负责内容 |
|---|---|
| — | — |
| 施俊希(本人) | 设定比赛目标与成功标准;规定双模式与授权边界;要求每次提交前做多模型委员会审查;在关键节点做决定(是否提交候选 C、门槛规则的解释、最终选择 A + C);赛后核对成绩 |
| Codex(AI 编程智能体) | 第 1–4 轮:搭建协作工具包、数据审计、基线、HistGradientBoosting 与 CatBoost 调整 |
| Claude(AI 编程智能体) | 第 5 轮:合成数据伪影特征、LightGBM / XGBoost / CatBoost 多模型与融合、提交前核验 |
| 外部模型委员会 | DeepSeek、Qwen、Gemini、Kimi、GLM、豆包等网页模型,基于脱敏摘要给出咨询意见,不代替本人授权 |
说明:核心代码、模型训练、特征工程和融合主要由 AI 智能体实现,本文不作为独立手写建模能力的证明。目前能独立讲清楚的是整体流程、验证设计与防泄漏思路、各轮调整的取舍依据;独立复现基线是下一步计划。
数据来源与预处理:电动车购买意向预测数据集
- 数据名称:电动车购买意向预测数据集(EV Purchase Intention Dataset)
- 数据量:训练集 668,665 行、测试集 286,571 行,无缺失值、无重复行
- 字段:13 个特征 + 1 个二分类标签(是否购买电动车)
- 数据来源:本文团队做了完整的数据审计(哈希登记、缺失与重复核对、ID 唯一性与训练测试重叠检查)
- 时间跨度:2026 年 9 月发布,为截面数据
- 区域跨度:以潜在电动车消费者个体画像为主,未提供地域标识字段
- 数据格式:csv(训练、测试、提交模板三件套)
- 数据简介:正样本(会购买)116,779 条,约占 17.5%,属于不平衡二分类问题,评价指标为 ROC AUC
- 本数据可支撑的主题实证研究:一是消费行为特征与购买意向的关联建模;二是类别型特征编码方法(目标编码、频率编码)的效果对比;三是合成数据伪影特征的挖掘与利用;四是模型融合与可信提交流程的设计
- 数据指标:年龄、年收入、每日通勤公里数、已有汽车数量、家附近充电桩数量、单位附近充电桩数量、环保关注程度、性别、城市类型、现有车型、家庭能否安装充电桩、是否有补贴、续航焦虑程度
- 数据展示:下表为数据审计核对结果(字段、类型、取值数、缺失):
| 字段(中文口径) | 类型 | 取值数 | 缺失 |
|---|---|---|---|
| — | — | — | — |
| 年龄 | 整数 | 45 | 0 |
| 年收入 | 浮点 | 13,214 | 0 |
| 每日通勤公里数 | 浮点 | 805 | 0 |
| 已有汽车数量 | 整数 | 4 | 0 |
| 家附近充电桩数量 | 整数 | 15 | 0 |
| 单位附近充电桩数量 | 整数 | 20 | 0 |
| 环保关注程度 | 浮点 | 5 | 0 |
| 性别 | 类别 | 3 | 0 |
| 城市类型 | 类别 | 3 | 0 |
| 现有车型 | 类别 | 4 | 0 |
| 家庭能否安装充电桩 | 类别 | 2 | 0 |
| 是否有补贴 | 类别 | 2 | 0 |
| 续航焦虑程度 | 类别 | 3 | 0 |
预处理与审计口径:核对行数、类型、缺失、重复、ID 唯一性与训练/测试重叠(结果:无缺失、无重复、ID 无重叠),并记录输入文件 SHA-256。
相关文章推荐
- 工业能耗智能诊断 AI Agent 系统:单耗异常检测与LightGBM次日能耗预测(MAE 0.4674 tce)
- Python随机森林、梯度提升树与逻辑回归融合多阶段特征工程实现信贷违约风险预测|附AI智能体、代码和数据
- TF-IDF、朴素贝叶斯融合识别测算体育产业规模模型|附 AI agent、skill和数据
- DistilBERT与bert-base-chinese微调影评情感分类 agent 实战:英文IMDb与中文豆瓣双语料
- R+bnlearn的贝叶斯网络AI 数据中心风险建模agent智能体系统(全流程实战)
- 船舶冷链数字化教学智能体agent系统开发实战:知识体系与三类阈值规则
- 员工离职风险预测系统:Stacking与XGBoost集成预警模型
- Streamlit + LlamaIndex + OpenAI RAG手机客服多智能体Agent系统
核心模型设计:折内目标编码与多模型融合
| 环节 | 做法 |
|---|---|
| — | — |
| 验证 | 分层 K 折交叉验证(固定种子 20260902),保存完整折外预测(OOF);正式运行用固定轮数,外层验证折不参与拟合 |
| 特征工程 | 把数值列也按取值当类别,构造 20 个类别键(含收入分桶、通勤取整、4 组两两组合);折内目标编码(两种平滑)、频率编码、收入数位/通勤小数位、边界标记,以及官方链接原始数据集(CC0)的按值目标均值与计数 |
| 模型 | LightGBM、XGBoost(GPU)、CatBoost(GPU);先探索阶段用早停估计轮数,再正式阶段固定轮数训练 |
| 融合 | 候选 C:3 个划分种子 × 3 个模型,每组 10 折,9 组 OOF 与测试预测等权平均,不做权重搜索 |
| 产物校验 | 落盘后重新读取核对、SHA-256、提交格式校验(列/行数/ID 顺序/概率范围),运行前后源码哈希一致 |
以下代码摘自项目源码,并按本文叙述需要做了整理。完整代码见提交包原文。
提交门控:没有本地证据就不提交
就像给自动驾驶设电子围栏(行业术语:门控策略 Gating),提交门控把"什么时候允许花钱花名额"变成代码说了算。
# gate_policy.py:候选提交门控
from dataclasses import dataclass
@dataclass
class GateVerdict:
"""只含(是否放行, 拒绝或放行的原因),便于写进审计日志"""
allowed: bool
verdict_reason: str
def review_candidate_gate(
weekly_used, # 本周已用提交名额
weekly_quota, # 每周提交上限
oof_score, # 候选本地OOF AUC
best_oof_score, # 当前正式最佳OOF AUC
min_gain, # 最小提升门槛(本项目取0.001)
is_new_model_family, # 是否为明显不同的模型族
has_registered_hypothesis, # 是否有预注册的明确假设
):
if weekly_used >= weekly_quota: # 名额用完,一律不放行
return GateVerdict(False, "weekly_quota_used_up")
if best_oof_score is None: # 首个有效基线直接放行
return GateVerdict(True, "first_baseline_ready")
if oof_score >= best_oof_score + min_gain: # 达到最小提升
return GateVerdict(True, "oof_gain_reached")
if is_new_model_family: # 明显不同的模型族
return GateVerdict(True, "new_model_family_probe")
if has_registered_hypothesis: # 有预注册假设待验证
return GateVerdict(True, "registered_hypothesis_test")
return GateVerdict(False, "no_local_evidence") # 以上都不满足:拒绝
凭据隔离:泄漏模式扫描
# secret_guard.py:凭据泄漏模式扫描与审计事件写入
import json, re
from dataclasses import asdict, dataclass
from pathlib import Path
@dataclass
class SecretHit:
source: str # 扫描来源(审计事件/记忆候选)
kind: str # 命中的泄漏模式名
SECRET_RULES = {
"legacy_credential_key": re.compile(r'"key"\s*:\s*"[A-Za-z0-9_-]{20,}"', re.IGNORECASE),
"token_assignment_line": re.compile(r"[A-Z_]*API_TOKEN\s*=\s*[^\s]+", re.IGNORECASE),
"auth_header_line": re.compile(r"Authorization\s*:\s*(?:Bearer|Basic)\s+\S+", re.IGNORECASE),
"cookie_header_line": re.compile(r"Cookie\s*:\s*\S+", re.IGNORECASE),
} # 四类泄漏模式
def scan_secrets(text: str, source: str = "memory") -> list[SecretHit]:
sample_placeholder = "ACME_PLATFORM_TOKEN=replace-me-locally" # 文档示例占位值,剔除后免误报
text = text.replace(sample_placeholder, "")
matched = [SecretHit(source=source, kind=name) for name, rule in SECRET_RULES.items() if rule.search(text)]
return matched
def write_audit_event(path: Path, event) -> None:
payload = json.dumps(asdict(event), ensure_ascii=False, separators=(",", ": "), sort_keys=True)
hits = scan_secrets(payload, "audit_event") # 写入前先过泄漏扫描
if hits:
kinds = ", ".join(hit.kind for hit in hits)
raise ValueError(f"audit event blocked, secret-like content found: {kinds}")
path.parent.mkdir(exist_ok=True, parents=True)
with path.open(mode="a", encoding="utf-8", newline="\n") as handle:
handle.write(f"{payload}\n")
防泄漏的折内目标编码
目标编码会用到标签,最容易造成数据泄漏。这就像考前先不做原题、只拿练习册互相校对答案,再回头做原题(行业术语:嵌套交叉拟合)——这里只在外层训练折上拟合编码器,并且训练折内部再做 5 折交叉拟合,最后才去变换外层验证折和测试集,验证折标签全程不参与。
# fold_target_encode.py:防泄漏的折内目标编码
import pandas as pd
from sklearn.preprocessing import TargetEncoder as SkTargetEncoder
def fit_target_encode(
feat_train, key_train, y_train, # 外层训练折:原始特征、类别键、标签
feat_val, key_val, # 外层验证折(标签全程不参与)
feat_test, key_test, # 测试集
smooth_list=("auto", 100.0), # 两种平滑参数
random_seed=20260902,
):
"""只在训练折拟合编码器(训练折内部再做交叉拟合),再变换验证折与测试集。"""
groups = ([feat_train], [feat_val], [feat_test])
key_columns = list(key_train.columns)
for smooth in smooth_list:
encoder = SkTargetEncoder(
target_type="binary", smooth=smooth, cv=5,
shuffle=True, random_state=random_seed,
) # 编码器构造完成
tag = f"s{int(smooth)}" if smooth != "auto" else "auto"
new_names = [f"te_{tag}_{col}" for col in key_columns]
encoded = (
encoder.fit_transform(key_train, y_train), # 训练折:内部交叉拟合
encoder.transform(key_val), # 验证折:仅变换
encoder.transform(key_test), # 测试集:仅变换
) # 三段变换结果
for group, piece, frame in zip(groups, encoded, (feat_train, feat_val, feat_test)):
group.append(pd.DataFrame(piece.astype("float32"), columns=new_names, index=frame.index))
return tuple(pd.concat(group, axis=1) for group in groups)
预注册等权融合与门槛判定
融合只读取已通过门槛的正式运行,逐一校验成员产物哈希和 ID 对齐,然后对概率做等权平均,不搜索权重;门槛与单模型相同:提升至少 0.001 且历史五折全为正。
# equal_weight_blend.py(节选):预注册等权融合与门槛判定
import numpy as np
from sklearn.metrics import roc_auc_score
oof_blend = np.mean(oof_stack, axis=0) # OOF 等权平均,不做权重搜索
sub_blend = np.mean(sub_stack, axis=0)
blend_auc = float(roc_auc_score(y_val, oof_blend))
fold_gates = paired_gate_check(y_val, oof_blend, incumbent.probability.to_numpy(), history)
blend_report = {
"run_id": args.run_id, "stage": "formal_blend",
"rule": "预注册等权概率平均,无权重搜索",
"members": member_list, "auc": blend_auc,
"incumbent_auc": old_auc, "paired_delta": blend_auc - old_auc,
"gate_historical_fold_metrics": fold_gates,
# ...... 此处省略成员哈希校验、ID 对齐检查等前置步骤
} # 报告对象
passes = bool(blend_auc - old_auc >= MIN_IMPROVE and all(g["delta"] > 0 for g in fold_gates))
实验设置与训练:探索与正式两阶段
探索(probe)阶段允许用验证折做早停,只用来估计轮数,结果不参与提交判定;正式(formal)阶段固定轮数、验证折不参与拟合。运行结束时再次计算源码哈希,若训练期间代码被改动,就判定本次运行无效。
# two_stage_run.py(节选):两阶段训练 + 源码守卫
from lightgbm import LGBMClassifier
import lightgbm.callback as lgb_cb
def train_and_infer(stage_mode, model_kind, x_train, y_train, x_valid, y_valid, x_test):
"""返回(验证折概率, 测试集概率, 实际轮数)。只有探索(probe)阶段才会把验证折交给早停。"""
is_probe = stage_mode == "probe"
if model_kind == "lgbm":
booster = LGBMClassifier(**make_lgbm_params()) # 超参数从配置读取
if is_probe:
booster.fit(x_train, y_train, eval_set=[(x_valid, y_valid)],
eval_metric="auc",
callbacks=[lgb_cb.early_stopping(300, verbose=False)])
best_rounds = int(booster.best_iteration_)
else: # 正式阶段
booster.fit(x_train, y_train) # 固定轮数,验证折不参与
best_rounds = int(booster.booster_.current_iteration())
return booster.predict_proba(x_valid)[:, 1], booster.predict_proba(x_test)[:, 1], best_rounds
# ...... 此处省略 xgb / cat / logreg 三个分支,结构与 lgbm 分支相同
if collect_source_hashes(out_dir) != registered_hashes: # 训练结束后重算源码哈希
raise ValueError("source files changed during the run") # 哈希不一致:本次运行作废
运行环境与版本:Python 3.11.15、numpy 2.4.6、pandas 3.0.5、scikit-learn 1.9.0,第五轮另用 LightGBM 4.6.0、CatBoost 1.2.8(GPU 训练)。
测试结果与对比:私榜成绩与消融
最终成绩:私榜截图

图2 私榜按队名搜索结果:第 745 名,Private 0.94536,4 次提交
本机运行

图3 协作工具包命令行:影子运行、凭据扫描、教学候选、基线准备等子命令

图4 项目测试:27 项全部通过(覆盖门控、凭据、提交校验、委员会登记、第三轮完整性等)

图5 凭据扫描:账号凭据在项目目录之外;6 条命中均位于依赖缓存中的第三方前端脚本,属正则误报,项目代码与产物无命中
实测数据对比
| 阶段 | 构成 | 本地 OOF AUC | 官方 Private AUC |
|---|---|---|---|
| — | — | — | — |
| 基线 | 逻辑回归、原始 13 列 | 0.93809 | 0.93690 |
| 三、四轮换模型 | HistGB / CatBoost 调深度 | 0.94139 → 0.94186 | 0.94065(后续候选未达门槛,未提交) |
| 第五轮候选 A | 新特征 + LightGBM(5 折) | 0.94602 | 0.94533 |
| 第五轮候选 C | 3 划分 × 3 模型 10 折等权融合 | 0.94630 | 0.94536 |

图6 各阶段 OOF 与官方 Private 分数:前四轮只调模型、提升有限;第五轮改特征表示后显著提升

图7 消融对比:去掉目标编码 OOF 下降约 0.0020,其余改动影响均小于 0.00004

图8 4 次正式提交的 Public / Private 分数
委员会审查记录(候选 C)
| 成员 | 状态 | 意见 / 原因 |
|---|---|---|
| — | — | — |
| DeepSeek | 已返回 | 提交 C,最终选 A+C;C 与 A 直接比较因 10 折/融合占优而不公平,+0.00028 不显著 |
| Qwen | 已返回 | 有条件批准作为第二次提交;主张若 C 公开榜低于 A 则最终只锁 A |
| Gemini | 已返回 | 批准提交,最终 A+C 对冲 |
| 豆包 | 已返回 | 不推荐提交:称 70% 以上增益为 10 折对 5 折伪增益,同质化,浪费配额 |
| Kimi | 不可用 | 2026-09-29 插入问题包时桥接断开,未发送 |
| GLM | 不可用 | 页面为滑动验证码,未代为通过,未发送 |
| 内部独立子智能体(Claude) | 已返回 | 不阻断;最终 A+C;公开榜只作故障检测;推断测试端真实增益约 +0.0001~0.0002 |
处理方式:豆包的反对意见原样保留;它要求的两项检查(在候选 A 的 5 折划分上重跑融合、头部预测重叠度)已用现有产物回答,结果不支持放弃。Qwen 提出的"用公开榜二选一"不采纳,因为项目规则规定公开榜不参与选模。最终由本人确认提交候选 C,并选择 A + C 作为最终两个提交。
每一次提交都用官方接口读回核验,成绩、哈希、审计记录三方对齐;数据来源方为竞赛主办方,审计方为自研的审计工具包。
Python开发SVM、XGBoost、LightGBM、贝叶斯优化CatBoost、TF-IDF协同过滤融合模型预测就业状态实现人岗精准匹配
相关内容:基于某中部城市就业登记数据,集成随机森林、SVM、XGBoost、LightGBM、CatBoost与逻辑回归六类模型预测就业状态,用基尼不纯度与递归特征消除筛选15个关键特征,再以贝叶斯优化调优CatBoost,最后融合TF-IDF与余弦相似度构建人岗匹配推荐。
探索观点局限性与失败分析
- OOF 存在选择偏差:同一训练集反复用于选模,OOF 不能当作独立测试集,只能用于门槛判定;这也是私榜成绩与本地 OOF 有小幅差异的原因。原文未提供置信区间与显著性检验,私榜成绩为单次竞赛结果。
- 部分特征为转导式:部分频率特征用了训练+测试的特征列(转导式,不含标签)。
- 消融覆盖不完整:部分消融运行触发源码守卫、没有完整报告,只作参考;只有候选 A 做过独立复算和第 0 折逐位重训一致性验证,其余模型(含候选 C)没有。
- 独立实现能力待补:代码主要由 AI 智能体实现,按 COACHED 模式亲手复现逻辑回归和 LightGBM 基线是下一步计划。
- 结论边界:全部数字结论限定于本次竞赛数据与提交口径,迁移到其他业务数据时需重新验证。
系统实现与落地:可审计的协作工具包
协作工具包(kaggle_autoops)把上述机制沉淀为六个可复用模块:提交门控、凭据扫描、审计日志、提交校验、委员会登记、影子运行。
示例运行命令(以代码包实际接口为准):
- 安装依赖:pip install -e .(依赖见 pyproject.toml;第五轮另需 LightGBM / XGBoost / CatBoost)
- 设置导入路径:$env:PYTHONPATH = "scripts/kaggle"
- 运行测试:python -m pytest tests(27 项通过)
- 查看命令行:python -m kaggle_autoops.cli –help
落地价值:这套工具包可直接迁移到企业自动化建模场景,降低人工盯流程的成本;"数值按取值当类别键 + 折内目标编码"的特征表示方案,可复用到同类用户意向预测业务;多模型委员会 + 预注册 + 门槛判定构成一套人机协同决策范式——AI 提供算力与代码,人保留授权与最终决定权,兼顾效率与可信。
结论与展望
结果:最终 Private 排名 745 / 3576(前 20.83%),最佳 Private ROC AUC 0.94536,与冠军(0.94602)相差 0.00066。本地 OOF 从逻辑回归基线 0.9381 提升到融合 0.9463;官方 Private 从 0.9369 提升到 0.94536。全程没有提交过未通过门槛的候选,没有发生凭据泄漏,每次提交都有审计记录和官方接口读回。
经验:
- 特征表示比调参重要:第三、四轮在原始 13 列上换 CatBoost、加深树,相对 HistGB 只提升约 0.0004–0.0005,未达到提交门槛;第五轮改为数值按取值做目标编码等特征后,单模型提升约 0.0046。瓶颈在特征表示,不在调参。
- 预注册让决策可信:先写候选定义和选择规则再训练、公开榜不参与选模,使最终选择不受排行榜噪声影响。候选 A 的公开分略高于 C,但私榜 C 更高,与预注册的选择一致。
- 多模型委员会是"提问者":委员会成员意见经常不一致,价值在于逼出需要本地验证的问题,而不是投票;最终决定仍由人做。
常见问题 FAQ
01 电动车购买意向怎么预测?用什么模型?
基于 66.9 万行训练样本与 13 个特征(年龄、收入、通勤、充电条件、补贴、续航焦虑等),用折内目标编码改造特征表示后,LightGBM、XGBoost、CatBoost 三模型 10 折等权融合预测,评价指标 ROC AUC,私榜 745/3576(前 20.83%)。
02 为什么选 LightGBM、XGBoost、CatBoost 三个模型?
LightGBM 用直方图分裂、速度快;XGBoost 支持 GPU 训练、正则项成熟;CatBoost 对类别特征有内建的有序目标编码。三者对"数值按取值当类别键"这类特征的处理机制不同,融合时残差相关性可控,等权平均就能拿到稳定的增益。
03 相比逻辑回归基线的改进在哪、为什么有效?
改进分两层:第一层是特征表示(数值按取值做类别键 + 折内目标编码),消融显示去掉目标编码 OOF 直接掉 0.0020,是最大贡献项,单模型较基线提升约 0.0046;第二层是流程层(预注册、等权融合、公开榜只做故障检测),保证成绩可信。
04 为什么 OOF 不能当独立测试集?
同一训练集反复用于选模,OOF 存在选择偏差,只能用于门槛判定,不能当作无偏的泛化估计——这也是私榜成绩与本地 OOF 有小幅差异的原因。
05 AI智能体能独立完成整场建模吗?人负责什么?
智能体完成了数据审计、特征工程、训练、融合与提交前核验;人负责设定授权边界、提交门槛与预注册规则,做多模型委员会审查,并在关键节点(是否提交候选 C、最终选择 A + C)做决定。委员会只给建议,提交授权来自本人。
06 如何防止目标编码数据泄漏?
只在外层训练折上拟合编码器,训练折内部再做 5 折交叉拟合,最后才变换外层验证折和测试集;验证折标签全程不参与。
07 公开排行榜为什么不参与选模?
公开榜样本与测试端同分布且反复可查,按它选模等于反复对同一小样本过拟合;项目规则规定公开榜只做故障检测。预注册的选择规则使最终决定不受排行榜噪声影响——候选 A 公开分略高于 C,但私榜 C 更高,与预注册选择一致。
08 委员会意见不一致怎么办?
意见不一致是常态,委员会的价值在逼出需要本地验证的问题而不是投票。豆包的反对意见原样保留,其要求的两项检查已用现有产物回答;Qwen 提出的"用公开榜二选一"不采纳(违反项目规则)。最终由本人确认提交。
09 提交门槛具体是什么?
每个正式候选要满足:本地 OOF AUC 至少比当前基准高 0.001,且历史五折逐折全部为正;任何一条不满足就不提交。
10 完整代码、数据和AI智能体怎么获取?
本文配套完整代码、数据与AI智能体、skill请阅读原文链接获取;附录列出了关键代码与数据文件清单,便于核验资料完整性。
11 复现需要什么环境?
Python 3.11.15、numpy 2.4.6、pandas 3.0.5、scikit-learn 1.9.0,第五轮另需 LightGBM 4.6.0、XGBoost、CatBoost 1.2.8(GPU);先从竞赛平台下载比赛数据与官方链接的原始数据集,运行 python -m pytest tests(27 项测试)检查环境。以代码包实际接口为准。
12 数据集是什么口径?
某国际数据科学竞赛平台竞赛数据,由主办方基于一份公开原始数据集合成生成;训练集 668,665 行、测试集 286,571 行,无缺失、无重复,正样本 116,779 条约占 17.5%,属不平衡二分类。
参考文献与延伸阅读
- 数据来源:某国际数据科学竞赛平台发布的竞赛数据(由主办方基于一份公开原始数据集合成生成,原始数据集以 CC0 协议发布)。
- 延伸阅读(同站相关文章):Python开发SVM、XGBoost、LightGBM、贝叶斯优化CatBoost、TF-IDF协同过滤融合模型预测就业状态实现人岗精准匹配|附AI智能体和数据。
- 原文未附其他正式参考文献。
附录:关键代码与数据文件清单
01_主项目/
├── README.md 项目总览
├── report/
│ └── 项目报告.docx 与 项目报告.pdf 完整报告
├── figures/
│ ├── fig4_workflow.png 候选提交流程图
│ └── ... 其余 6 张图与截图
├── results/
│ ├── data-audit.json 数据审计结果
│ ├── 第三轮结果-20260909.md 第三轮各候选成绩
│ ├── 第四轮结果-20260912.md 第四轮深度候选
│ ├── 第五轮结果-20260924.md 第五轮候选与消融
│ ├── official-final-20261001.json 官方成绩读回
│ └── round5-committee-review-C-20260929.json 委员会记录(已脱敏)
├── pyproject.toml 依赖清单
│ ├── round5_features.py 第五轮特征工程
│ ├── run_round5.py 两阶段运行器
│ └── round5_blend.py 等权融合
完整清单见提交包原文。
作者系数据科学与大数据技术方向学习者与AI智能体协作实践者,专注表格数据建模与可信自动化流程。


FastAPI + Vue 流量安全监控智能系统:iForest、XGBoost、Autoencoder 集成检测攻击
工业能耗智能诊断 AI Agent 系统:单耗异常检测与LightGBM次日能耗预测(MAE 0.4674 tce)
Deepseek 射频信号调制识别系统agent:CNN 深度学习 实战

