FastAPI + Vue 流量安全监控智能系统：iForest、XGBoost、Autoencoder 集成检测攻击

FastAPI+ Vue 流量安全监控智能系统：iForest、XGBoost、Autoencoder集成检测攻击

副标题：召回0.765→0.888三档可切档，附教程文档、9张实拍截图与可运行FastAPI+Vue系统

在此对 Haiwen Luo对本文所作的贡献表示诚挚感谢，他在完成了软件工程专业的本科学历，专注 机器学习 、深度学习与数据清洗领域。擅长 Python 与 Web 开发。Haiwen Luo 曾担任自然资源领域数据分析师，负责 AI 建模、数据清洗处理、可视化功能开发与系统演示工程落地。

封面：

TL;DR：智流卫把iForest、XGBoost、Autoencoder三模型加权集成为一套流量异常分数，实测AUC 0.9437；三档敏感度兼顾已知告警与未知攻击猎捕，附FastAPI+Vue看板与教程文档。

摘要

本文回答三个问题：一、如何对 入侵检测数据完成分布式清洗与 Session 级特征聚合；二、iForest、XGBoost、Autoencoder 三类检测器如何加权集成，集成后 AUC 0.9437 较单模型提升多少；三、三档敏感度阈值如何兼顾已知攻击识别与未知攻击猎捕。文末原文链接给出可运行系统、三档实测数据与完整教程文档。

关键词：流量安全监控； 异常检测 ；混合检测；三档敏感度

Abstract

This article answers three questions: first, how to clean with distributed computing and aggregate flow records into 15 session-level features; second, how iForest, XGBoost and Autoencoder are blended into one ensemble detector with AUC 0.9437; third, how three sensitivity thresholds (0.45/0.35/0.25) balance known-attack detection and unknown-attack hunting. A runnable system, measured results and a full tutorial document are provided.

Keywords: intrusion detection; ensemble learning; anomaly detection;

研究背景与痛点：城域网络流量安全监控的三类难题

随着数字城市建设进入深水区，城域与园区网络规模持续扩容，流量数据呈指数级增长，网络安全成为制约数字化转型的核心瓶颈。当前主流监控方案存在五类痛点：响应滞后，单一云端处理链路长，无法毫秒级预警；算力不均，云端资源浪费而边缘终端算力不足；检测精度不足，浅层特征加单一模型难以捕捉复杂攻击模式，漏检误报居高不下；可视化薄弱，流量分布与攻击链路难以直观还原；防御被动，面对动态变体攻击表现滞后。

针对这些痛点，项目构建了边缘感知、云端决策、协同自愈的三层架构：边缘节点部署轻量采集探针与裁剪版 iForest，本地完成基础清洗与高频简单攻击识别；云端基于 Hadoop、Hive、Spark 构建离线批处理平台，训练混合检测引擎并通过 FastAPI 服务化，供实时流模块调用；两层之间加密联动，形成检测、告警、调度、处置的闭环。极端场景下边缘宕机，云端接管核心监控，恢复后自动同步。

技术方案总览

系统采用边缘感知、云端决策、协同自愈的三层架构与一套混合检测引擎，全文脉络如下：

      原始流量             |             v     分布式清洗（中位数填充）             |             v    Session 级 15 维特征             |+-------+--------+     |                |     v                v  已知攻击集成    未知攻击三档阈值  (0.3/0.6/0.1)   (0.45/0.35/0.25)     |                |+-------+--------+             |             v    FastAPI 服务与告警看板

数据来源与预处理：清洗管道

数据介绍

• 数据名称：网络安全研究所入侵检测数据集
• 数据量：原始约 1600 万条流记录；本文演示口径为其中一次真实运行的 1906 条告警 Session
• 字段：Flow Duration、Fwd/Bwd Pkt Len、Flow IAT、Dst Port、Label 等 80 余个流级特征，聚合后得到 15 维 Session 特征
• 数据来源：某公开平台，由拓端团队整理核对
• 时间跨度：2018 年 2 月至 3 月
• 区域跨度：模拟企业园区的多协议有线网络环境
• 数据格式：csv（原始）与 parquet（清洗后）
• 数据简介：在仿真企业环境中并行发起真实攻击与正常业务流量，覆盖暴力破解、心脏滴血、僵尸网络、DoS、DDoS、Web 攻击与内部渗透七类场景，逐流提取统计特征并标注攻击类型
• 本数据可支撑的主题研究：一是入侵检测模型对比与集成策略研究；二是攻击与正常样本极度不平衡下的采样与权重方法研究；三是未知攻击阈值敏感度策略研究
• 数据指标：15 维 Session 特征（pkt\_count、duration、pkt\_rate、flow\_duration\_mean、iat\_mean、port\_entropy、burst\_ratio 等）
• 数据展示：

数据清洗与特征工程

演示数据是随包保留的一次真实运行产物：1906 条告警 Session，其中攻击 1537 条、正常 369 条，与随包结果文件的混淆矩阵完全吻合。清洗管道对齐原始工程口径：类型转换、重复值剔除、无穷值置空、中位数填充。

离线批处理数据（CICIDS2018）经过分层抽样与类别权重调整生成高质量训练集，实时流数据（园区仿真）由边缘节点采集上传，两者协同供给模型训练与实时检测。下图是攻击类型占比分布：类别 0 占 77.5%，类别 1 占 14.4%，类别 2 占 8.1%，攻击类型严重不平衡是后面采样与权重设计的直接原因。

相关文章

过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分类

原文链接：过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分析预测 – 拓端

• 背景：我们拿到一份约 1600 万行的 原始 csv，存在重复行、无穷值和缺失值，直接喂模型会把训练搞砸。
• 角色：你是一名熟悉 PySpark 与网络流量数据的内维数据工程师。
• 任务：请帮我写一条清洗管道，读取原始 csv，完成类型转换、重复剔除、无穷值处理和中位数填充，输出 parquet。
• 要求：数值列统一转 DoubleType；Benign 与攻击样本分别去重后再合并；中位数只算一次然后一次性填充；最后打印标签分布，方便人工核对。
• 举例：输入一行 Flow Duration 为 inf 的记录，应先置空再被该列中位数替换；重复的 Benign 行只保留一条。

上面省略了 SRC\_ODS 等路径常量、collect\_medians 的实现（汇总 50% 分位行并转字典）以及标签分布打印；均为模板化代码，可按注释自行补齐。

Session 级特征是精度提升的关键：把包级记录按 Traffic\_ID 聚合出 15 维统计量，其中 port\_entropy（目的端口熵）与 burst\_ratio（突发比）对端口扫描类攻击尤其敏感。

提示词：Session 级特征聚合

• 背景：包级特征太细，同一个攻击会话被拆成几百行，模型学不到会话整体行为。
• 角色：你是一名做流量行为建模的机器学习工程师。
• 任务：请把流级数据按会话聚合，产出 15 维统计特征，并对长尾特征做对数变换和鲁棒标准化。
• 要求：聚合包含包数、时长、包速率、IAT 统计、包长统计、端口熵与突发比；训练只用正常样本的缩放器要先拟合再复用；特征矩阵里不允许出现 nan 和 inf。
• 举例：一个会话含 100 个包、跨 10 个目的端口，port\_entropy 应为 0.1 量级而不是 10。

上面省略了其余 8 个聚合表达式与缩放器持久化；特征清单与随包工程完全一致。

方法细节：Session 级特征聚合

混合检测引擎

单模型各有短板：iForest 无监督但对高维密度变化迟钝，XGBoost 有监督但依赖标签质量，Autoencoder 重建误差稳定但训练慢。集成思路是三模型分数归一化后加权：iForest 0.3、XGBoost 0.6、Autoencoder 0.1。这里有个生活类比：iForest 像机场安检的经验直觉（行业术语：无监督异常评分），XGBoost 像有案底的 blacklist 比对（行业术语：有监督梯度提升），Autoencoder 则像复原原图的画师，画不像的地方就是异常（行业术语：重建误差）。

提示词：三模型混合检测引擎

• 背景：我们已经拿到 15 维 Session 特征和二分类标签，单一模型在漏检和误报之间反复摇摆。
• 角色：你是一名熟悉 pyod 异常检测库的算法工程师。
• 任务：请实现一个混合检测器，把 IForest、XGBOD、AutoEncoder 三个检测器的分数归一化后按 0.3、0.6、0.1 加权融合。
• 要求：iForest 与 AutoEncoder 只用正常样本训练，XGBOD 用全量标签；三个分数都缩放到 0 到 1 区间再加权；权重与随机种子可配置；输出集成分数和分模型分数两部分，方便解释。
• 举例：某样本三模型归一化分数为 0.8、0.7、0.6，集成分数应为 0.3_0.8+0.6_0.7+0.1\*0.6=0.72。

上面省略了 ensemble\_weights 常量、阈值判别 predict 方法与模型持久化 save；每个检测器的训练参数与随包工程一致。

单检测器与集成的实测对比如下，数据来自随包结果文件（2026-04-11 运行产物）：

集成后整体准确率 0.9251、F1 0.7842、最佳阈值 0.4562，测试样本 11298 条、训练样本 26362 条、特征 15 维。这里如果答辩时被问到”为什么三个权重这样定”，标准答案是：XGBOD 在带标签数据上 AUC 最高（0.9637），给主导权重 0.6；iForest 提供无监督视角兜底未知模式给 0.3；Autoencoder 单模型 AUC 只有 0.7222 但其重建误差与另外两路相关性低，保留 0.1 做信号补充——权重依据是各自单独评测的 AUC 相对表现，而不是拍脑袋。

核心模型设计：三模型混合异常检测

未知攻击三档敏感度

已知攻击有标签可学，未知攻击没有。做法是同一套集成分数配三档阈值：标准档 日常运维压误报，高敏感档 用于未知攻击猎捕，极高敏感档 用于安全研究观测。

随包 results2 实测的三档对比（全量 11298 条测试集口径）：

工程侧把这套检测能力封装成了带看板的在线系统：告警筛选、三档对比、园区热力与配置中心全部可视化，引擎按 demo、local、full 三模式降级，任一层依赖缺失自动回退并在 trace 表留痕。园区侧四区域二十四小时的异常热力图如下，宿舍区凌晨时段是明显高发带：

三维园区场景用建模软件搭出数字孪生底座，与流量数据联动渲染：

系统实现与落地：智流卫流量安全监控系统

智流卫：城域流量安全监控与未知攻击检测系统

iForest + XGBoost + Autoencoder 混合检测引擎 · FastAPI + Vue3 全栈实现 | 附实测数据与完整运行指南

系统 FastAPI 0.162.2 + Vue 3.4 + Element Plus 2.8 + ECharts 5.5 接口 23页面 9数据表 9 截图 9 张实拍日期 2026-11-10

iForest + XGBoost + Autoencoder 混合检测引擎 · FastAPI + Vue3 全栈实现 | 附实测数据与完整运行指南

项目定位：把一份有扎实算法证据但不可运行的项目材料，重做成可运行、可核查、可演示的全栈系统——8 个功能模块、9 个页面、23 个接口、9 张数据表，每个数字可溯源。

场景痛点：园区 / 城域网络的流量监控普遍存在三类问题——检测滞后（单一云端处理链路长）、精度不足（单模型对未知攻击漏检）、运维不可视（告警散落在日志文件里）。智流卫的答案是三模型加权集成检测 + 三档敏感度可调 + 告警看板与态势可视化，并把每一次检测的耗时、模式、降级原因全部留痕。

系统能力：数据接入与清洗｜15 维 Session 特征工程｜混合检测引擎｜三档敏感度未知攻击检测｜告警落库与查询看板｜园区流量态势可视化｜系统配置中心（热生效 + 连通性测试）｜降级矩阵 + 全链路 trace + 账号权限。

数字口径表（三本账，正文任何数字都可回溯到此表）：

一、项目技术栈

智流卫是一个面向园区 / 城域场景的网络流量安全监控与未知攻击检测系统：把随包的混合检测引擎（iForest + XGBOD + AutoEncoder 加权集成）封装成可操作的服务，配上告警看板、三档敏感度对比、园区态势与配置中心。后端与前端全部代码在本工程内可直接运行，数据链路分三本账（见「四、算法实现与数据口径」），每一类数字都能指回来源。

整体架构

┌────────────────────────────────────────────────────────────────┐│  Vue 3 + Element Plus + ECharts（前端，9 个页面）                ││  登录 / 态势总览 / 数据接入 / 检测引擎 / 三档敏感度              ││  告警查询 / 园区态势 / 配置中心 / 运行日志                       │└──────────────────────┬─────────────────────────────────────────┘                       │ RESTful API（Bearer token）┌──────────────────────▼─────────────────────────────────────────┐│  FastAPI 后端（/docs 即接口文档，23 个接口）                     ││  检测引擎（三模式降级矩阵）│ 清洗管道 │ 统计服务 │ trace 留痕     │└──────────┬───────────────────────────┬─────────────────────────┘           │                           │┌──────────▼───────────┐   ┌───────────▼───────────────────────┐│  SQLite（开发回退）   │   │  随包 alerts.csv（演示数据源）      ││  MySQL 8（可切换）    │   │  园区 sim_v1 仿真口径              │└──────────────────────┘   └───────────────────────────────────┘

后端技术栈

过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分类

过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分析预测 – 拓端

探索观点

前端技术栈

几个刻意的「轻量化」取舍：没有引入消息队列、独立向量库、微服务拆分与容器编排——演示模式的数据源是一个 1906 行的随包结果文件，单文件 SQLite 足够；引擎三模式（demo / local / full）用进程内降级矩阵隔离，任何一层依赖缺失都自动回退并在 trace 表留痕，而不是让服务起不来。登录态用 HMAC 无状态 token ，这是演示口径的实现，正文不做生产安全承诺。

引擎三模式降级矩阵

三种模式共用同一套接口与 trace 表；GET /api/detection/sensitivity 的响应里始终带 provenance（随包实测值，只读），与 demo 复算值分开呈现、禁止混写。

二、项目功能描述

系统共 8 个功能模块、9 个页面、23 个接口、9 张数据表。每个模块标注数据来源：演示模式下所有业务数据都能指回随包文件或 sim\_v1 仿真口径，没有凭空生成的数字。

1\. 数据接入与清洗

上传 alerts 口径 CSV（必需列 session_id / anomaly_score / is_attack，可选 alert_level），提交即解析落库；清洗动作对齐随包 code_0.py 的流程口径：去重 → Inf/NaN 处理 → 缺失值中位数填充，执行结果写入清洗任务表并可回看。页面：数据接入。来源：随包 results1/alerts.csv（演示集，1906 行）+ code_0.py 流程。

2\. Session 级特征工程（15 维字典）

检测引擎消费的 15 维 Session 聚合特征全部收录在特征字典里，逐条给出类型与业务含义（pkt\_count、duration、pkt\_rate、flow\_duration\_mean/std、fwd\_pkts\_mean、bwd\_len\_mean/std、iat\_mean/std、fwd\_iat\_mean、fwd\_iat\_max、pkt\_size\_mean、port\_entropy、burst\_ratio）。页面并入检测引擎页。来源：随包 code_2.py 的 SESSION_FEATURES 定义。

3\. 混合检测引擎

iForest（仅正常样本训练）+ XGBOD（全样本有监督）+ AutoEncoder（hidden 32-16-8-16-32）三模型分数归一化后按 0.3 / 0.6 / 0.1 加权集成，阈值判攻击。页面可选引擎模式发起检测，展示混淆矩阵与 P/R/F1，运行历史全部落库。来源：随包 code_2.py 引擎定义；演示模式消费随包结果文件分数。

4\. 三档敏感度未知攻击检测

5\. 告警落库与查询看板

告警表（session\_id / anomaly\_score / is\_attack / alert\_level）支持多条件筛选（级别、是否攻击、分数区间、session 模糊查询）+ 分页 + 行点击弹窗详情；态势总览页给 4 个 KPI（告警总数、攻击占比、平均异常分数、引擎模式）与三张图表（异常分数分布、ROC/PR、告警级别占比）。来源：随包 alerts.csv。

6\. 园区流量态势可视化

四区域 × 24 小时异常流量热力图、正常 / 攻击流量小时级趋势、攻击类别占比、历史平均流量与在线终端数双轴图，全部 ECharts 渲染。来源：sim\_v1 确定性仿真（量级口径对齐随包 6 张园区图的读图判读：热力峰值宿舍区凌晨 3 时 0.56、攻击规模 1,544,621 / 286,191 / 161,934、流量 1e7 量级、终端 ~1.4 万），页面明示仿真声明。

7\. 系统配置中心

检测阈值（三档）、集成权重（0.3/0.6/0.1）、引擎模式、数据源路径全部外置到数据库，页面分组编辑、保存即生效（引擎每次运行读取库内配置），密钥类字段 ****** 脱敏显示（提交 \*\* 表示不修改），一键连通性测试覆盖数据库、演示数据源、local 引擎依赖三项。来源：随包 code_2.py 的 Config 类外置化。

8\. 降级矩阵 + 全链路可观测 + 账号权限

trace 表记录每个关键步骤的耗时、引擎模式、是否降级与原因，运行日志页分页展示；引擎三模式共用接口、失败自动回退；账号分管理员 / 分析员双角色，配置修改为管理员独享，后端接口强制校验。来源：随包 code_2.py 的 local[2] 单机模式声明 + 工程实现。

三、项目创新点

创新点一：不是单模型打分，而是三类检测器加权集成

无监督 IForest、有监督 XGBOD、深度自编码 AutoEncoder 三模型分数归一化后按 0.3 / 0.6 / 0.1 加权。随包实测（results1，全量 11298 测试集）：单检测器 AUC 分别为 0.8174 / 0.9637 / 0.7222，集成为 0.9437——集成不是三个模型的平均数，而是让「有监督的精度」与「无监督对未知模式的敏感」同时保留。

创新点二：不是固定阈值告警，而是三档敏感度共用一套分数

同一套异常分数配三档阈值（0.45 / 0.35 / 0.25），随包实测（results2）：Recall 从 0.765 → 0.813 → 0.888，Precision 从 0.798 → 0.740 → 0.605。安全团队可以按场景切档：日常运维用标准档压误报，未知攻击猎捕用高敏感档，研究观测用极高敏感档——权衡曲线对用户透明，而不是藏在代码里。

创新点三：不是大数据全家桶堆砌，而是 15 维 Session 级轻量特征工程

不引入 Kafka / Flink 也能把检测讲清楚：把包级流量聚合成 Session 级 15 维特征（包数、时长、包速率、IAT 统计、端口熵、突发比……），对数变换 + RobustScaler 处理长尾。随包 XGBoost TOP10 特征重要性图显示 pkts_5min_count、Dst Port、Bwd Pkt Len Mean、hour 是主要贡献特征——特征可解释，且每一维都收录进系统特征字典。

创新点四：不是「系统全能」叙事，而是三模式降级矩阵 + L2 边界声明

demo / local / full 三模式共用接口与 trace，local 依赖缺失时实测自动回退 demo 并留痕（degraded=true + 原因）；系统在多处明示口径：随包文件口径、provenance 实测口径、sim\_v1 仿真口径分开呈现。依赖不可用不是异常，是预期内的一条降级路径。

创新点五：不是截图拼凑，而是每个数字可溯源

随包 alerts.csv 的 1906 条与 results1 混淆矩阵的 TP 1537 + FP 369 完全吻合——这构成一条反向验证链：演示数据就是那次真实运行的告警产物。系统把「报告自述值 / 随包实测值 / demo 复算值」三本账分列，API 响应自带口径警示字段，正文与看板引用任何数字都给来源列。

五、项目功能截图

看图要点：态势总览的 KPI「攻击占比 80.64%」即 alerts.csv 的 1537/1906——与 results1 的 Precision 0.8064 同源；园区页每张图标题下都有数据来源声明（sim\_v1 仿真或随包读图口径），这是本系统「数字可溯源」原则在界面上的直接体现。

登录页：品牌 lockup、演示模式声明与安全免责提示（01\_login.png，1440×900 实拍）

态势总览：4 KPI + 分数分布 / ROC-PR / 级别占比三图 + 口径警示条 + provenance 实测表（02\_dashboard.png，1440×900 实拍）

数据接入：数据集列表（随包演示集 1906 行）与清洗入口（03\_ingest.png，1440×900 实拍）

检测引擎：模式选择、混淆矩阵结果、运行历史与 15 维特征字典（04\_detection.png，1440×900 实拍）

三档敏感度：Tab 切换逐档混淆矩阵、阈值扫描曲线与 results2 实测 provenance（05\_sensitivity.png，1440×900 实拍）

告警查询：多条件筛选、分页表格与级别徽标（06\_alerts.png，1440×900 实拍）

园区态势：热力图 / 流量趋势 / 攻击占比 / 双轴图（sim\_v1 仿真声明）（07\_park.png，1440×900 实拍）

配置中心：分组表单、保存即生效与一键连通性测试（08\_config.png，1440×900 实拍）

运行日志：每步耗时、引擎模式与降级留痕（09\_trace.png，1440×900 实拍）

智流卫 · 城域流量安全监控与未知攻击检测系统｜数据来源：随包材料包 results1 / results2 实测文件与 15 张结果图（22 张配图全量读图判读留档）｜系统实现、接口与全部截图来自本工程实跑｜生成 2026-11-10

结论与展望

总结

技术创新与业务价值

1. 技术创新：无监督、有监督、重建式三类检测器加权融合，配合可配置三档阈值，一套分数覆盖日常告警与未知攻击排查两类场景。
2. 业务价值：告警从日志文件升级为可筛选、可溯源、可配置的在线看板；引擎三模式降级保证任一层依赖缺失时业务不中断；所有实测数字可回溯到随包结果文件，审计成本低。
3. 落地路径：系统自带演示数据与连通性测试，安装依赖后一条命令即可启动，适合作为园区网络安全监控的参考实现与毕业设计底座。

参考文献与延伸阅读

延伸阅读推荐拓端站内同方法论文章（上文「相关文章」模块）：《过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分类》，原文链接 过采样SMOTE逻辑回归、SVM、随机森林、AdaBoost和XGBoost对不平衡数据分析预测 – 拓端。

附录：关键代码与数据文件清单

backend/├── app/│   ├── main.py                 │   ├── seed.py                 │   ├── services/│   │   ├── engine.py           │   │   └── stats.py            │   └── routers/│       ├── data.py             │       └── system.py           ├── sql/schema.sql              ├── data/alerts.csv        └── requirements.txt            

作者声明：作者系网络流量安全与异常检测方向分析师，拥有多年机器学习建模与数据处理经验。