成为新会员获取本项目完整报告、代码、数据和AI智能体

加入会员群

在此对 Zicheng Yang对本文所作的贡献表示诚挚感谢,他完成了数据科学与大数据技术专业的学位,专注工业能耗分析与数据工程领域。擅长 Python、SQL、MySQL、Hive、Spark、Airflow、Docker、HTML/JavaScript;擅长数据清洗与质量治理、工业能耗分析、数仓建模、 异常检测 、时间序列预测与可视化。

TL;DR:工业能耗数据分析清洗 19,234 行模拟记录为车间日面板,做单耗异常检测;11 折验证下 LightGBM 次日能耗预测 MAE 0.4674 tce,较基线降约 38.1%。附代码与 AI Agent、skill。

中文摘要与关键词

痛点。工业能耗数据分析最容易出错的一步,是把绝对能耗的上涨直接读成效率恶化:产量同期也在涨、公用工程与生产车间混在一张表里、同一张单据还写着三种计量单位。本文回答四问:单位混写与生产状态差异下如何统一能耗口径?2σ、产量基线、CUSUM 各自能检出什么?滚动切分下四类模型与季节基线差距多大?怎样用证据白名单挡住无依据的因果结论?

方法。按日期×车间×能源业务键去重,数值离群只对单元格置空后分组插补并保留修正证据,把综合能耗、费用、碳排、单耗拆成四条互不替代的口径;用 2σ、产量基线、CUSUM 三类检测信号定位异常记录,以滞后 1 天的实测量装配车间日特征,按 30 天步长做 11 折扩展窗口滚动验证;问答侧让 大模型 只在候选证据中选择 evidence_id,可见数值由服务端按受控记录生成。

结果。19,234 条模拟记录清洗为 19,006 条明细、5,848 条车间日特征,11 个测试折共 2,640 条/模型;LightGBM 的 MAE 为 0.4674 tce,较基线下降约 38.1%,LSTM 0.5213 tce、 Transformer 0.5448 tce。离线固定用例 4/4 通过、模型调用 0 次,历史在线记录 5/5 通过。

价值。清洗前后行数、修正证据与产物哈希均可回溯;逐折误差、在线与离线口径、拒答边界全部如实留存。完整代码、数据、8 张运行截图、两份项目报告与配套的对话式 AI Agent、可复用 skill 随原文提供,读者可按同一口径逐条核对。

关键词:工业能耗数据分析;单耗异常检测;次日能耗预测;raw_energy_data;折标系数与综合能耗口径;2σ 与 CUSUM;LightGBM 滚动时序验证;evidence_id 证据白名单; FastAPI 诊断工作台

English Abstract and Keywords

This article answers four questions: (1) how to unify multi-energy records with mixed units, duplicates and production-status differences into traceable indicators; (2) what 2σ, production-baseline and CUSUM signals each detect, and why none of them can serve as a fault label; (3) how LightGBM, LSTM and Transformer compare with a seven-day seasonal baseline under rolling time-ordered validation; and (4) how an evidence whitelist prevents a large language model from turning correlation into a root-cause claim. With 19,234 simulated records cleaned into 19,006 energy rows and 5,848 workshop-day features, 11 folds yield 2,640 test rows per model, and LightGBM reaches MAE 0.4674 tce, about 38.1% below the seasonal baseline.

Keywords: industrial energy data analysis; unit-consumption anomaly detection; next-day energy consumption forecasting; rolling-origin validation; LightGBM; 2-sigma and CUSUM; evidence whitelist; FastAPI diagnostics workbench

研究背景与痛点:工业能耗数据分析为什么容易把产量增长误判成效率恶化

客户希望在同一套数据上把三件事分开:能耗口径能不能对得上、异常信号能不能定位到具体记录、次日综合能耗能不能用于排产参考。我们没有把三件事揉成一个”智能告警”故事,而是按数据链路逐段处理——先做可追溯清洗,再建指标字典与 29 组查询结果,接着用时间顺序滚动切分比较预测模型,最后把大模型放在证据约束里,让它只选证据、不写原因。

这里的数据按制造业业务规律生成,覆盖 2024 至 2025 年,用来展示工程与分析能力,不代表真实工厂实测收益。项目里有一处修复值得先说:早期对离群值整行删除,导致 34 个车间日缺少能源品种;改为只把异常单元格置空、按车间×能源×年月中位数插补并保留能源行之后,缺失车间日降到 0,并用回归测试把修复固化下来。

项目背景与业务问题

制造企业的多能源记录存在单位混写、重复、缺失和生产状态差异。业务问题、统计异常和设备故障结论必须分别处理:前者是口径问题,中者是检测信号,后者需要维护事件与检修记录才能成立。项目把三类结论拆开,先清洗能源与产量数据,再构建可追溯指标,识别高耗车间、待机损耗和异常波动,最后评估次日综合能耗预测。

技术方案总览:工业能耗数据分析从清洗到证据问答的链路

本章结论:整条链路按「可追溯清洗 → 指标与 SQL 结果 → 异常信号与滚动预测 → 证据白名单问答 → 审计留痕」顺序展开 。

        模拟 ERP/MES 能耗与产量记录                  |                  v     统一编码 → 业务键去重 → 单元格置空插补                  |                  v     指标字典 + 29 组 SQL 结果(Q01-Q29)                  |+---------+---------+        |                   |        v                   v2σ / 产量基线 / CUSUM   车间日特征装配   异常信号(不作答)       滞后 1 天 + 滚动均值        |                   |        |                   v        |          11 折滚动时序验证        |                   |        |        +----------+----------+        |        |          |          |        |        v          v          v        |    LightGBM     LSTM    Transformer        |        |          |          |+--------+----------+----------+                  |                  v     证据白名单检索 → 模型只选 evidence_id                  |                  v     服务端校验 → 确定性陈述与引用 → 审计留痕

本项目完整报告、代码、数据和AI智能体

下载资料

数据来源与预处理:工业能耗数据分析的清洗与口径

本章结论:19,234 行原始模拟记录按业务键去重与单元格级插补后得到 19,006 行明细、5,848 条车间日特征,删除与修正各自留证;四条指标口径互不替代。

数据介绍

  • 数据名称:工业能耗数据
  • 数据量:19,234 行原始模拟记录,清洗后 19,006 行能源明细、5,848 条车间日生产记录与 5,848 条车间日特征;8 个车间、6 类能源、731 个自然日
  • 字段:记录日期、车间编码、能源品种、消耗量、明细费用、产量、气温、价格指数、生产状态、能源折标系数
  • 数据来源:按制造业业务规律生成的模拟 ERP/MES 数据,由拓端团队整理核对,字段口径与清洗证据随项目材料留存
  • 时间跨度:2024 至 2025 年,共 731 个自然日
  • 区域跨度:单厂多车间口径,覆盖生产车间与公用工程两类对象,不跨地区
  • 数据格式:csv 明细 + MySQL 星型模型 + 29 组 SQL 结果 csv;预测以车间日面板数据组织
  • 数据简介:生成器固定随机种子 20240918,按日期×车间×能源为业务键构造记录,并故意注入缺失、重复、负值、单位混写与离群值;产量单独按日期×车间去重,避免在多种能源行上重复累计产量。清洗时统一日期、车间与能源编码后按业务键去重,数值离群只对单元格置空并分组插补,删除与修正分别落在 clean_rejects.csv 与 clean_fixed.csv
  • 本数据可支撑的主题实证研究:一是能源结构与费用的双口径分解;二是停产待机损耗与单位产品能耗的同比变化;三是时间顺序下的次日能耗预测与模型稳定性比较;四是受控证据问答中”可回答 / 应拒答”的边界评测
  • 数据指标:
变量 含义 取值口径
tce 综合能耗 Σ(消耗量 × 能源折标系数) ÷ 1000,单位 tce
cost 能源费用 Σ明细费用,单位元
carbon 碳排放 按各能源系数折算,单位 tCO₂
unit_use 单位产品能耗 生产车间能耗 ÷ 产量;停产或无产量时不计算
t / t-1 / t-7 / t-14 能耗滞后项 观测日前 1、7、14 天的实际值
idle_ratio 低负荷与停产能源行占比 能源明细行占比,不是停机时间占比
  • 数据展示:
工业能耗数据分析图表

这张排序图来自 Q03,横轴是车间、纵轴是综合能耗。它能回答”谁用得多”,却回答不了”谁用得不合理”——产量、公用工程与生产车间的口径还没分开。后面所有分析,本质上都是在给这张图补上分母与参照系:单耗补产量分母,产量基线补条件期望,滚动切分补时间先后。

  • 相关文章专题:工业能耗与用电量时间序列的多模型预测对比
  • 原文链接:tecdat.cn/?p=42219
  • 内容概要:该文基于某咨询项目,横向对比 SARIMAX、RNN、LSTM、Prophet、Transformer 五类时间序列预测模型在月度工业用电量(Electric Production,397 条,强季节性)、洗发水销售、公共安全与交通事故四类真实数据上的表现;先用 Dickey-Fuller 检验与 ACF/PACF 判断平稳性、周期与滞后阶数,再以 MAPE 统一评估并给出参数调优与选型建议。核心结论是「没有最优模型,只有最适合特定数据特征的方案」:强季节性场景宜优先 Prophet 或 SARIMAX,含突发异常的场景宜用 RNN/LSTM,Transformer 在部分时序任务上仍有局限。

清洗链路按业务键展开:统一日期、车间和能源编码,再按日期×车间×能源去重;数值离群只对单元格置空,按车间×能源×年月中位数插补,保留能源行;费用偏差超过阈值时按量×价重算。原始 19,234 行清洗后 19,006 行,减少 228 条重复。负值取绝对值属于本模拟数据的业务假设,真实项目应先核实计量方向。

公式只保留最终结果:

tce = Σ(消耗量 × 能源折标系数) ÷ 1000cost = Σ明细费用unit_use = 生产车间能耗 ÷ 产量

其中 tce 为综合能耗,折标系数按能源品种查表;cost 为费用口径,与 tce 不能互相换算;unit_use 在停产或无产量时不可直接计算。各能源物理单位不同,不直接相加。

核心模型/方案设计:单耗异常检测三类信号与证据白名单

本章结论:2σ、产量基线与 CUSUM 只产出检测信号,不产出故障真值;问答侧把解释权收回服务端,模型只负责从受控候选中选 evidence_id。

探索分析与三类检测信号

Q01 给出两年综合能耗 63,759.63 tce、费用 215,364,002.57 元、碳排 156,783.46 tCO₂。Q13 中四个间歇车间各有 58 个停产日,待机浪费费用合计 793,880.39 元;这是已有记录下的分析估算,不代表停产期间可全部消除的节能收益。

工业能耗数据分析图表

月度趋势图来自 Q05。

七个生产车间单位产品能耗同比下降 2.26%~3.88%;以 2024 年单耗为基线,估算 2025 年节能约 731 tce、毛收益约 247 万元。这些数字来自模拟数据的口径估算,不能直接换算成真实工厂收益。上述结果的取数与复核由拓端团队按 Q 系列结果与随包验收记录逐项核对,审计口径保留在验收记录目录。

流程为异常筛选 → 加载指标字典与 Q 系列结果 → 检索候选证据 → 模型选择证据 ID → 服务端校验 → 确定性生成陈述与引用 → 页面展示与审计。允许来源只有指标字典、SQL 结果、异常证据三类;

方法细节:工业能耗数据分析的 BRTR+E 提示词 与关键建模代码

本章结论:三段代码分别对应特征装配、滚动切折与证据约束,均按「背景/角色/任务/要求/举例」组织提示词,关键建模逻辑用 ...... 省略并注明省略内容,变量名、函数名与结构已全部重写,便于读者按自己的工程口径复现。

实验设置与训练:次日能耗预测的 11 折扩展窗口滚动验证

本章结论:训练窗只能包含截止日之前的数据,实测量统一滞后 1 天、滚动均值先 shift(1) 再 rolling,随机种子固定;这是避免离线虚高、上线失效的关键设置。

将明细聚合为车间日综合能耗,以 t 日能耗为目标。实测产量、温度、价格指数、低负荷与停产能源行占比均滞后 1 天;日历字段可在当天使用。能耗滞后取 1、7、14 天,滚动均值先 shift(1) 再 rolling。预热 28 天后,首折训练 365 天、测试 30 天,以 30 天步长扩展训练窗;11 个完整测试折,每折 240 条车间日,共 2,640 条/模型,尾部 8 天不计分。这属于观测前一天实际值后的滚动单步预测,不是一次性预测未来 30 天。

测试结果与对比:次日能耗预测四类模型的 MAE/RMSE 与逐折稳定性

本章结论:在同一份特征、同一套切分下,LightGBM 总体 MAE 0.4674 tce 较七日季节基线下降约 38.1%,但 LSTM 与 Transformer 在个别折更优,逐折稳定性比单一均值更值得参考。

四类模型在全测试行上的微平均误差如下,测试样本均为 2,640 条车间日:

模型 测试样本 MAE(tce) RMSE(tce)
seasonal_naive_7d 2640 0.7550 1.3300
lightgbm 2640 0.4674 0.7750
lstm 2640 0.5213 0.8538
transformer 2640 0.5448 0.8415
工业能耗数据分析图表

LightGBM 在本数据和切分下总体 MAE 为 0.4674 tce,相比七日季节基线降低约 38.1%。这只是该误差的相对下降,不能据此宣称树模型在所有工业数据上都占优:LSTM 在部分折优于 LightGBM,Transformer 首折也更低。

工业能耗数据分析图表
工业能耗数据分析图表

逐折 MAE 图揭示的稳定性差异,比单个平均值更有参考价值;W04 部分测试区间的实际值与预测值贴合程度,则说明滚动单步预测在平稳段可用、在波动段仍会滞后。预测精度不能直接换算为节能收益,这一点在项目结论里写得很明确。

系统实现与落地:工业能耗数据分析的证据约束诊断工作台

本章结论:桌面与手机端截图来自本机隔离端口的实际运行,当前为离线证据检索模式;离线 4/4 与历史在线 5/5 分属两次评测,不能混算,也不把离线页面当作本次在线模型运行。

工业能耗数据分析图表
工业能耗数据分析图表

工作台在本机隔离端口启动,使用独立反馈数据库与审计目录;桌面与手机两张截图来自实际运行,当前为离线证据检索模式,覆盖筛选、趋势、引用、同期费用、反馈持久化和手机布局。历史在线结果单独呈现,不把离线页面当作本次在线模型运行。

工业能耗数据分析图表

固定用例包含待机费用引用、CUSUM 信号引用、未经证实的设备根因拒答、未知车间拒答、缺少检修记录的在线拒答。本次离线重新评测 4/4 通过,1 项在线专用用例跳过,模型调用 0 次。随项目保存的历史在线记录为 5/5 通过、3 次真实模型调用、总耗时 4.354 秒;另两项由本地守卫拒答。本次未读取密钥或重新调用付费模型,小样本通过率不能代表一般业务问答准确率。

用例 历史在线 provider 通过 引用数
grounded_standby_cost configured_llm True 1
reject_device_root_cause offline_guarded True 0
reject_unknown_workshop offline_guarded True 0
grounded_cusum_signal configured_llm True 7
online_refuse_missing_maintenance_record configured_llm True 0

四 功能运行截图

本次在本机隔离端口18016启动工作台,使用独立反馈数据库和审计目录;页面截图来自实际运行,当前为离线证据检索模式。验证覆盖筛选、趋势、引用、同期费用、反馈持久化和手机布局。历史在线结果单独呈现,不将离线页面当作本次在线模型运行。

工业能耗数据分析图表

图 实际诊断工作台 桌面展示

工业能耗数据分析图表

图 实际诊断工作台 手机展示

五 评测设计与运行结果

固定用例包含待机费用引用、CUSUM信号引用、未经证实的设备根因拒答、未知车间拒答、缺少检修记录的在线拒答。本次离线重新评测4/4通过,1项在线专用用例跳过,模型调用0次。随项目保存的历史在线记录为5/5通过、3次真实模型调用、总耗时4.354秒;另两项由本地守卫拒答。本次未读取密钥或重新调用付费模型。小样本通过率不能代表一般业务问答准确率。

工业能耗数据分析图表

图 固定案例通过率与调用边界

用例 历史在线provider 通过 引用数
grounded_standby_cost configured_llm True 1
reject_device_root_cause offline_guarded True 0
reject_unknown_workshop offline_guarded True 0
grounded_cusum_signal configured_llm True 7
online_refuse_missing_maintenance_record configured_llm True 0

七 应用效果与总结

应用形成了异常发现、证据核查、受约束回答和人工反馈的可追溯流程。对已有事实可展示记录,对缺少维护记录或设备故障依据的问题拒答,减少无来源推断。当前检索基于关键词和实体映射,复杂语义覆盖有限;本地界面未提供生产级身份认证;尚需扩大真实业务评测集、补齐维护事件与权限管理,再评估真实部署。

___

读到这里,可以把本章当成一份按步骤执行的检查单:先按第六部分的命令在解压副本里跑通离线守卫与工作台,再决定是否为在线模式配置接口,并用实际调用日志区分 provider 与调用次数。固定用例的通过率只覆盖已有评测集,迁移到自己的业务时应补齐维护事件标签、权限管理与更大规模的真实问句集;缺少依据的问题保持拒答,是这套应用最值得保留下来的约束。

相关技术文章:Python时间序列预测对比分析用电量等数据

Python用Transformer、SARIMAX、RNN、LSTM、Prophet时间序列预测对比分析用电量、零售销售、公共安全、交通事故数据

Python用Transformer、SARIMAX、RNN、LSTM、Prophet时间序列预测对比分析用电量、零售销售、公共安全、交通事故数据。

探索观点

结论与展望

本章结论:工业能耗数据分析的价值不在换一个更强的模型,而在把口径、时间先后与解释权三件事分别约束住;以下按原文的三组核心问题与三项技术创新逐条收束,并再次点明次日能耗预测的适用边界。

  • 问题一:多能源记录单位混写、重复与生产状态差异导致绝对能耗不可比
  • 解决方案:按业务键去重、异常单元格置空后分组插补,保留删除与修正证据,并把综合能耗、费用、碳排、单耗拆成四条独立口径。
  • 问题二:异常信号容易被直接当成设备故障结论
  • 解决方案:2σ、产量基线与 CUSUM 只作检测信号,缺少维护事件标签时不计算提前预警天数;问答侧用证据白名单与本地守卫拒答无依据的因果问题。
  • 问题三:随机切分会让预测结果虚高,且大模型自由生成数值难以追溯
  • 解决方案:11 折扩展窗口滚动验证并统一滞后 1 天,可见数值一律由服务端按受控记录生成,引用与处置历史留痕。
  1. 把模拟原始数据、可追溯清洗、29 组 SQL 分析、滚动预测与可视化交付串成一条可复核链路;清洗前后行数、修正证据与产物哈希均可回溯,后续接真实计量数据时只需替换数据层。
  2. 在同一份特征、同一套切分下给出四类模型的 MAE/RMSE 对照与逐折稳定性:LightGBM 0.4674 tce 相对七日季节基线下降约 38.1%,同时如实记录 LSTM、Transformer 在个别折更优,避免结论外推。
  3. 用证据白名单把大模型限制在”选证据 ID”这一步,离线 4/4 用例通过、模型调用 0 次,历史在线 5/5 通过并保留 3 次真实调用日志,在线与离线口径严格区分,降低无来源推断带来的业务风险。

综合来看,次日能耗预测在 11 折扩展窗口滚动验证下给出 LightGBM MAE 0.4674 tce、较七日季节基线下降约 38.1% 的结果,但结论限定于本数据与切分;单耗异常检测的三类信号只负责提示「该去查记录」,因果结论仍须维护事件支撑。后续按原文给出的方向,接真实计量数据时只需替换数据层,并补齐维护事件标签、权限管理与更大规模的真实问句集,再评估真实部署效果。完整代码、数据、8 张图表与配套的对话式 AI Agent、可复用 skill 随原文提供,便于按同一口径复核。

常见问题 FAQ:工业能耗数据分析与次日能耗预测的 12 个高频疑问

本章承接原文「导师答辩高频提问与标准答案」,并把分散在正文里的口径、边界与复现方法集中成可检索的问答;答案只使用原文已有事实。

参考文献与延伸阅读

  1. 相关文章《Python用Transformer、SARIMAX、RNN、LSTM、Prophet时间序列预测对比分析用电量、零售销售、公共安全、交通事故数据》,原文链接 https://tecdat.cn/?p=42219 ,见下节。

___

附录:工业能耗数据分析项目目录结构与流程图

工业能耗项目提交材料/├── 01_提交说明.md├── 02_数据挖掘项目报告.html├── 03_AI应用项目报告.html├── 图表与截图/│   ├── 01_车间能耗.png           # Q03 车间能耗排序│   ├── 02_月度趋势.png           # Q05 月度趋势│   ├── 03_模型误差.png           # 全测试行微平均误差│   ├── 04_逐折误差.png           # 每折 MAE│   ├── 05_预测曲线.png           # W04 实际与预测│   ├── 06_问答评测.png           # 固定案例通过率│   ├── 07_诊断桌面.png           # 工作台桌面视图│   └── 08_诊断手机.png           # 工作台手机视图├── 项目代码/│   ├── data/raw_energy_data.csv│   ├── src/clean_data.py         # 可追溯清洗│   ├── src/import_mysql.py       # 星型模型入库│   ├── src/api.py / diagnostics.py│   ├── src/diagnostics.html / diagnostics.js│   ├── sql/create_table.sql / analysis.sql│   ├── ml/feature_pipeline.py    # 特征装配│   ├── ml/rolling_validation.py  # 时序切折│   ├── ml/model_benchmark.py     # LightGBM 逐折训练│   ├── ml/deep_benchmark.py      # LSTM / Transformer 对照│   ├── ml/attribution_assistant.py  # 证据白名单与引用生成│   ├── ml/evaluate_attribution.py   # 固定用例评测│   ├── governance/               # 指标口径与报告交付│   ├── output/Q01_Q29_*.csv      # 29 组分析结果│   ├── output/ml_features.csv    # 5,848 条车间日特征│   ├── output/ml_*_predictions.csv│   ├── docs/                     # 指标字典、复盘与完整说明│   └── tests/                    # 回归与端到端校验

作者声明

作者系工业能耗数据分析与时序建模方向分析师,长期从事数据治理与预测建模落地工作。

术语表

单耗(unit_use)
单位产品能耗,生产车间能耗除以产量;停产或无产量时不计算。
折标系数
各能源品种折算为标准煤的系数,用于把不同物理单位的能源统一为综合能耗 tce。
2σ 检测
以均值±2 倍标准差为阈值的统计异常检测信号,只提示异常、不作故障真值。
CUSUM
累积和控制图,对微小持续偏移敏感的检测信号;同样只作检测、不作根因结论。
LightGBM
梯度提升决策树模型,训练快、精度高,本数据下次日能耗预测 MAE 0.4674 tce。
扩展窗口滚动验证
训练窗随测试折扩展、按时间顺序切分的样本外验证,避免随机切分导致的虚高。
evidence_id 证据白名单
受控证据条目,问答侧大模型只能在候选证据中选 ID,数值由服务端按受控记录生成。
MAE / RMSE
平均绝对误差与均方根误差,本评测在 2,640 条车间日测试样本上微平均计算。

封面