成为新会员获取本项目完整报告、代码、数据和AI智能体

加入会员群

视频出处:拓端抖音号@拓端tecdat

封面:

TL;DR:中文评论情感分析系统以字符级双向LSTM配 多智能体 ,自动完成数据、特征、训练、评估与大模型报告,测试准确率97.50%(限仿真数据),一条命令可复现,附AI agent、skill与代码数据。

摘要与关键词

本文围绕中文商品评论的情感自动判别回答四个问题:一是字符级双向长短期记忆网络(LSTM)为什么适合中文短文本;二是多智能体流水线怎样把数据生成、特征工程、模型训练、效果评估、报告撰写五个环节自动化串联;三是大模型报告生成如何做到无网可跑、配置密钥即可升级;四是系统实测表现如何。实测显示测试集准确率与宏平均 F1 均为 97.50%,120 条测试样本仅 3 条误判,全流程一条命令可复现。

Abstract

This article answers four questions on Chinese review sentiment analysis: why char-level bidirectional LSTM suits short Chinese texts; how a multi-agent pipeline automates data generation, feature engineering, training, evaluation and reporting; how the pluggable LLM reporting layer runs offline and upgrades to DeepSeek with one key; and what the system achieves. Accuracy and macro-F1 both reach 97.50% on the held-out test set, with only 3 misclassified samples out of 120, and the pipeline is reproducible with a single command.

关键词:中文评论情感分析;双向长短期记忆网络LSTM;多智能体流水线;可插拔大模型; DeepSeek

Keywords: Chinese review sentiment analysis; bidirectional LSTM; multi-agent pipeline; pluggable LLM; DeepSeek

本项目完整报告、代码、数据和AI智能体

下载资料(17页)

中文评论情感分析的研究背景与痛点

本文基于1200条中文商品评论语料完成中文评论情感分析(评论情感二分类,positive / negative)任务:以字符级双向长短期记忆网络(LSTM)为分类主干、五个职责单一的智能体组成多智能体流水线,测试集准确率97.50%(该结论限定于词典与模板构造的仿真数据及8:1:1切分方式);全流程最终封装为对话式 AI Agent 与可复用skill,附完整代码与数据。

传统做法依赖人工整理情感词典和规则,遇到新词、错别字和网络流行语容易失灵;深度学习中的循环 神经网络 ,尤其是双向长短期记忆网络(LSTM),能直接从文本里学习语义特征,明显提升分类的稳定程度。与此同时,智能体框架与大语言模型(LLM)逐渐成熟,数据采集、特征工程、模型训练、评估分析、报告撰写这一整条工作流,可以被编排、被自动化、被智能解读。

传统情感分析方法依赖人工构建情感词典与规则,泛化能力有限;循环神经网络(LSTM)等序列模型能自动从文本中学习语义特征; 智能体框架 与大语言模型的兴起,让整条机器学习工作流可以被编排与自动化。本项目验证”深度学习 + 智能体 + 大模型”三位一体的工程化方案,产出可复现、可运行、可展示的完整资料:

  1. 深度学习:基于 PyTorch 构建双向 LSTM 文本分类模型;
  2. 智能体框架:设计轻量级多智能体编排流水线,全流程拆解为五个职责单一的智能体;
  3. 大语言模型:设计可插拔的 LLM 接口层,默认离线规则引擎,可一键切换 DeepSeek 真实大模型。

技术方案总览

本章核心结论:五个职责单一的智能体通过共享上下文串联成流水线,深度学习、智能体框架与大模型接口三位一体,零重型依赖。

        中文评论数据生成              |              v        字符级向量化              |              v        双向LSTM训练              |+-----+-----+        |           |        v           v    测试集评估    混淆矩阵        |           |+-----+-----+              |              v      可插拔LLM报告生成   (离线规则引擎 / 真实大模型)              |              v      六张可视化图表与复盘

总体架构

                    ┌───────────────────────────────────────────────┐                    │         多智能体流水线(AgentFlow)              │                    └───────────────────────────────────────────────┘ 数据采集智能体 ──► 特征工程智能体 ──► 模型训练智能体 ──► 模型评估智能体 ──► 分析报告智能体  (生成/清洗数据)   (字符级向量化)      (双向LSTM训练)     (测试集评估)      (LLM生成报告)       │                │                │                │                 │       ▼                ▼                ▼                ▼                 ▼  reviews.csv      词表+DataLoader   best_model.pt   分类报告/混淆矩阵   LLM分析报告.md       └──────────────────────►  可视化模块(matplotlib)  ◄────────────────┘                                 数据分布/训练曲线/混淆矩阵/预测样例/关键特征词/运行截图

系统采用”智能体 + 共享状态”的编排方式:每个智能体只负责一个环节,通过共享上下文对象 ctx 传递中间产物,流水线编排器依次调度执行。共享上下文 ctx 就像流水线上的传送带,每个工位把半成品放上去,下一个工位接着用(行业术语:共享状态总线)。这种设计借鉴了状态流转的思想,但零依赖、更轻量,便于理解与二次扩展。

技术栈

层次技术作用
编程语言Python 3.8全流程实现
深度学习框架PyTorch 2.0双向 LSTM 模型构建与训练
数据处理pandas / NumPy数据生成、EDA 统计、向量化
机器学习评估scikit-learn数据划分、分类报告、混淆矩阵
可视化matplotlib / Pillow图表绘制、运行截图渲染
大模型接口requests(DeepSeek 开放平台)可选的真实 LLM 报告生成
智能体框架自研 BaseAgent / AgentFlow多智能体编排

大模型可插拔设计

系统通过统一的 generate(prompt, context) 接口抽象”报告生成引擎”,好比手机充电接口,换充电头不用换手机(行业术语:接口抽象与依赖倒置):

  1. 离线规则引擎:本地规则/统计式分析引擎,依据真实评估指标套用统计规则与模板,生成结构化、可读的自然语言分析,无网无 Key 也能端到端运行;
  2. DeepSeek 在线引擎:设置环境变量后调用 DeepSeek 开放平台对话接口真实生成报告。

两种引擎共用同一份提示词(prompt),仅”生成引擎”不同,业务代码零改动,充分体现 LLM 的可插拔性。

中文商品评论数据来源与预处理

本章核心结论:数据由拓端团队构造并核对,正负各600条、8:1:1划分、固定随机种子,离线可复现。

  • 数据名称:中文商品评论情感数据集(Chinese Review Sentiment Dataset)
  • 数据量:1200 条评论,正面 600 条、负面 600 条
  • 字段:text(评论文本)、label(情感标签,1 为正面、0 为负面)
  • 数据来源:由拓端团队按中文情感词典与模板组合方式构造并人工核对,全部内容真实有效
  • 时间跨度:2026 年 10 月一次性构造,属于静态语料,不涉及时序面板
  • 区域跨度:覆盖洗衣机、充电宝、耳机、台灯、平板、扫地机等多品类商品的中文评论语域
  • 数据格式:csv 表格数据
  • 数据简介:为保证项目离线可运行、结果可复现,默认数据以「中文情感词典 + 模板组合」方式生成,并按 8:1:1 划分为训练、验证、测试集;生成时以 25% 的概率给评论追加转折小句(好评里带一句”不过物流有点慢”,差评里带一句”好在客服态度还行”),避免模型在构造数据上过拟合到满分;真实场景可无缝替换为公开中文评论语料,下游代码无需改动
  • 本数据可支撑的主题实证研究:一是字符级中文短文本分类方法的可行性验证;二是多智能体自动化工作流的端到端串联验证;三是离线规则引擎与大模型报告生成的效果对照;四是情感词典构造与数据增强策略研究
  • 数据指标:评论文本、情感标签、文本长度(均值约 41.4 字,范围 28~59)、字符表大小(269)

数据样张(reviews.csv 摘录):

textlabel
这款洗衣机的重量特别生硬,性价比也特别差劲,整体非常失望,不推荐!0
这款充电宝的客服太恶心,外观也特别掉色,性价比也真的不值,重量也非常划痕,整体非常失望,想退货!0
这款耳机的质量非常丝滑,包装也格外贴心,性价比也确实丝滑,整体非常满意,墙裂推荐!只是包装一般。1
这款台灯的材质很轻薄,音质也尤其顺滑,散热也特别精致,手感也很赞,整体非常满意,五星好评!1
这款平板的散热真的给力,材质也确实划算,物流也真的流畅,质量也格外好,整体非常满意,强烈推荐!1

数据方案

为保证项目离线可运行、结果可复现,默认数据使用「中文情感词典 + 模板组合」方式构造 1200 条仿真商品评论(正面 600 / 负面 600),并按 8:1:1 划分为训练 / 验证 / 测试集。为贴近真实语料的难度,生成时以 25% 的概率追加转折小句,避免模型在构造数据上过拟合到满分。真实场景可无缝替换为公开中文评论数据集,下游代码无需改动。

LSTM与多智能体协作的方案设计

本章核心结论:字符级双向LSTM免分词、CPU可训练;八个可直接复用的 提示词 与逐环节代码构成完整方案。

模型方案

采用字符级(char-level)双向 LSTM:

  1. 字符级建模:中文以”字”为基本单元,无需分词工具,且对错别字、新词更鲁棒;
  2. 双向 LSTM:同时捕获文本正反两个方向的上下文语义;
  3. 最大池化:对 LSTM 输出做时间维最大池化,得到定长句子表示;
  4. 全连接层:输出正面 / 负面二分类得分。

建模思路对比

建模思路人工特征上下文捕捉依赖与部署适用情况
情感词典 + 规则需要,逐条维护弱,难处理转折小句零依赖,最轻量冷启动、强规则场景
词袋 + 传统机器学习需要分词与特征筛选无语序信息依赖分词工具小语料、可解释要求高
字符级双向 LSTM(本文)无需人工特征双向捕获正反上下文仅 PyTorch,CPU 可训中文短文本自动判别

多智能体编排框架

数据采集智能体

字符区分度用「带平滑的频次差占比」量化每个字符的情感区分能力:区分度 =(正类频次 − 负类频次)/(正类频次 + 负类频次 + 5),公式里加 5 是平滑项,避免低频字符被放大。

字符级特征工程

提示词:字符级词表与定长编码

  • 背景:模型只认数字,中文评论需要先变成索引序列;我不想引入分词工具,直接按”字”切。
  • 角色:你是一名熟悉 PyTorch 数据管线的算法工程师。
  • 任务:请实现字符级词表类:扫描语料建立字符到索引的映射,把每条评论编码成定长序列,不足的位置补 0。
  • 要求:映射要能双向查询;超过最大长度的部分直接截断;编码结果要能直接喂给 Embedding 层。
  • 举例:字符表扫描完 1200 条评论后大小为 269;一条 35 字的评论在最大长度 40 下编码后末尾补 5 个 0;序列里出现词表外字符时统一填 1。

特征工程智能体在此之上完成 8:1:1 分层划分,并构建 PyTorch 批次加载器,训练 960 条、验证 120 条、测试 120 条。

双向LSTM分类网络

训练与最优权重保存

提示词:逐轮训练并保留验证最优权重

实现细节:由于 torch 在 Windows 下对含中文的绝对路径支持不佳,项目在入口先切换工作目录,再用相对路径读写模型权重,从而规避乱码问题。

报告生成引擎:从离线规则到大模型

分析报告智能体负责把评估指标填入提示词模板,调用工厂函数拿到引擎,生成结果后落盘为分析报告文件,报告里同时注明当前使用的生成引擎。

中文评论情感分析测试结果与对比

本章核心结论:CPU训练12轮即收敛,测试集准确率与宏平均F1均为97.50%,六张可视化图表与实测指标完整可审计。

运行截图

运行入口脚本(或双击一键运行脚本),程序打印各智能体执行进度、训练日志与最终结果,完整运行日志随资料包提供,终端风格截图如下:

文章配图

关键运行日志摘录:

[数据采集智能体] 共生成 1200 条评论:正面 600 / 负面 600;平均长度 41.4 字(28~59)[特征工程智能体] 字符表大小 = 269;训练 960 / 验证 120 / 测试 120[模型训练智能体] 开始训练(设备=cpu,共 12 轮)...  Epoch  1/12 | train loss 0.5825 acc 0.8208 | val loss 0.4399 acc 1.0000  Epoch  2/12 | train loss 0.2913 acc 0.9729 | val loss 0.1650 acc 0.9667  ...  Epoch 12/12 | train loss 0.0004 acc 1.0000 | val loss 0.0018 acc 1.0000[模型训练智能体] 训练完成,最佳验证准确率 1.0000[模型评估智能体] 测试集准确率 0.9750,宏平均 F1 0.9750[分析报告智能体] 分析报告已写入 outputs/LLM分析报告.md▶ 最终结果汇总  测试集准确率:97.50%  混淆矩阵    :TN=58 FP=2 FN=1 TP=59

数据分布可视化

文章配图

相关技术文章图片

Python多智能体multi-agent客服与情感识别电商系统|附AI智能体、代码和数据

Python多智能体multi-agent客服与情感识别电商系统 – 拓端

探索观点

左图展示类别分布(正面/负面各 600 条,类别均衡);右图展示评论文本长度分布(均值约 41.4 字),数据长度集中在 28~59 字,验证了最大长度取 40 的截断策略合理。

训练曲线可视化

文章配图

左图为损失曲线、右图为准确率曲线。训练损失快速下降并收敛,验证准确率在第 1 轮即达到 100%,随后保持稳定,训练集与验证集曲线同步收敛,未见明显过拟合。

混淆矩阵可视化

文章配图

测试集(120 条)上:真阳性 TP=59、假阳性 FP=2、假阴性 FN=1、真阴性 TN=58,共 3 条误判,对应 97.50% 的测试准确率。误判主要来自带”转折小句”的评论(如好评带负向小瑕疵),符合真实场景特征。

预测样例可视化

文章配图

横轴为模型预测”正面”的概率,蓝色代表预测正面、红色代表预测负面;每个样本下方标注”正确/错误 真/预”。可以直观看到模型对绝大多数样本以高置信度给出正确判断。

关键特征词可视化

文章配图

字符级区分度分析显示,模型自动学到的正面高频字(如”好、推荐、满意”)与负面高频字(如”差、失望、垃圾”)区分度最高,验证了字符级建模无需人工特征工程即可捕获情感信号。

实测指标汇总

指标实测值
测试集准确率97.50%
宏平均 F197.50%
正面 精确率 / 召回率 / F196.72% / 98.33% / 97.52%
负面 精确率 / 召回率 / F198.31% / 96.67% / 97.48%
混淆矩阵 TN / FP / FN / TP58 / 2 / 1 / 59
测试集误判条数3 条(共 120 条)
训练轮次12 轮,损失由 0.5825 收敛至 0.0004
最佳验证准确率100.00%

大模型生成的分析报告

分析报告由接口层自动生成,当前环境未配置密钥,由离线规则引擎产出,摘要如下:

一、模型整体表现:在 1200 条仿真评论中抽取 120 条作为测试集,测试准确率达到 97.50%,宏平均 F1 为 97.50%,模型对正面/负面两类评论均具备均衡的判别能力,已达到可直接上线试用的水准。

二、类别判别能力:正面精确率 96.72%、召回率 98.33%、F1 97.52%;负面精确率 98.31%、召回率 96.67%、F1 97.48%;混淆矩阵 TN=58 / FP=2 / FN=1 / TP=59。

三、训练过程:共 12 轮,训练损失由 0.5825 降至 0.0004,最佳验证准确率 100.00%,曲线同步下降,未见明显过拟合。

五、结论与建议:后续可通过引入真实语料、预训练词向量或更强序列模型进一步提分;报告部分可配置 DeepSeek 等大模型生成更丰富的业务解读。

局限性与失败分析

本章核心结论:系统在仿真语料上表现优异,但结论的适用边界必须交代清楚,避免被超出数据范围引用。

  1. 数据边界:训练与测试语料均为「中文情感词典 + 模板组合」构造的仿真评论,信号相对清晰;97.50%的结论限定于本数据与8:1:1切分方式,真实生产数据表达更复杂、噪声更大,指标会相应回落。
  2. 样本量与置信区间:测试集仅120条、3条误判,正态近似下准确率97.50%的95%置信区间约94.7%–100%,区间较宽,估计精度有限;原文未提供显著性检验。
  3. 类别混淆分析:3条误判集中在带「转折小句」的评论,说明模型对”好评带小瑕疵”这类混合表达仍敏感;转折小句注入比例固定为25%,未覆盖更复杂的真实噪声。
  4. 未做消融与基线对照:原文未提供与TextCNN、GRU、BERT等基线的同口径对照,也未做字符级与词级建模的消融比较,相关结论不得外推。
  5. 部署侧未实测:DeepSeek在线引擎的响应延迟、调用成本与生成质量依赖密钥环境,原文未提供实测数据,属设计目标。

系统实现与落地

本章核心结论:一条命令即可端到端复现,报告引擎按密钥自动切换,产物完整可审计。

运行方法

依赖清单见 requirements.txt:torch、pandas、numpy、scikit-learn、matplotlib、Pillow、requests。

配套工具与资源

本章核心结论:依赖清单、代码结构与示例运行命令齐备,降低复现门槛。

依赖见资料包 requirements.txt:torch、pandas、numpy、scikit-learn、matplotlib、Pillow、requests;Python 3.8、Windows 11 环境实测通过,其他环境以代码包实际接口为准。

资料包含全部源码、1200条中文商品评论数据集(reviews.csv)、六张可视化图表、运行日志、分析报告与训练好的模型权重(best_model.pt);本文将我们的建模经验封装为对话式AI Agent和可复用的skill,随资料包一并交付。

结论与展望

本章核心结论:端到端流程正确性得到验证,三位一体方案的工程价值与创新点明确,优化方向清晰。

完成内容

本项目完整实现并跑通了一个”深度学习 + 智能体框架 + 大模型接口”三位一体的中文评论情感分析系统:

  1. 端到端可运行:一条命令完成数据 → 特征 → 训练 → 评估 → 报告全流程;
  2. 多智能体架构:五个职责单一的智能体通过共享状态被编排调度,结构清晰、易扩展;
  3. 可插拔 LLM:默认离线规则引擎保证无网可跑,配置密钥即可切换真实大模型;
  4. 完整可视化:产出数据分布、训练曲线、混淆矩阵、预测样例、关键特征词、运行截图共 6 张图;
  5. 结果可复现:固定随机种子,测试准确率稳定为 97.50%。

结果分析

模型在测试集上取得 97.50% 的准确率与 97.50% 的宏平均 F1,正负两类的精确率与召回率高度均衡,说明双向 LSTM 学到了评论中的情感语义。需要说明的是,训练数据为”词典 + 模板”构造的仿真语料,信号相对清晰,指标因此偏高;这一结果证明了端到端流程的正确性,真实生产数据表达更复杂、噪声更大,指标会相应回落,这正是后续优化的方向。

创新点

  1. 轻量多智能体编排:在不引入重型依赖的前提下复现”智能体 + 共享状态 + 编排”的核心范式,代码可读性强、便于教学与二次开发;
  2. LLM 可插拔:用统一的 generate(prompt, context) 接口同时支撑离线规则引擎与真实大模型,”无网可演示、有 Key 可升级”成为现实;

技术创新与业务价值

  1. 轻量多智能体编排把整条机器学习工作流自动化,团队把维护五套脚本的成本压缩为维护一条流水线,舆情监控与评论洞察可以每日定时产出;
  2. 可插拔报告引擎让同一套流程既能离线交付又能接大模型升级,交付灵活性显著提升,客户环境不受网络与密钥限制;
  3. 固定种子与完整可视化让结果可复现、过程可审计,评估口径(准确率、宏平均 F1、混淆矩阵)可直接用于向业务方汇报。

作者声明:Jingwen Zhang 系深度学习与自然语言处理方向分析师,拥有 AI 视觉算法实习与文本情感分析项目经验。

常见问题 FAQ

  1. 中文评论情感分析系统怎么从零搭建? 按「数据生成 → 字符级特征工程 → 双向LSTM训练 → 测试集评估 → 大模型报告」五步搭一条多智能体,一条命令端到端跑通;本文五类智能体即按此拆分,各环节通过共享上下文传递中间产物。
  2. 中文评论情感分析不用分词工具(如jieba)可以吗? 可以,本文采用字符级建模;中文情感信号大量集中在单字与二字组合上,字符级无需分词依赖、对错别字与新词更鲁棒,字符表仅269维,小模型CPU即可训练。
  3. 为什么选双向LSTM而不是情感词典或传统机器学习? 情感词典泛化有限、难处理转折小句,词袋类方法无语序信息;字符级双向LSTM无需人工特征且能双向捕获上下文,测试集准确率97.50%(见建模思路对比表)。
  4. 数据划分为什么选8:1:1,还要固定随机种子? 8:1:1在保证训练量同时给验证与测试各留120条,固定种子保证任何人复跑数据一致;本文1200条评论按此划分,测试准确率可稳定复现为97.50%。
  5. 97.50%的准确率在真实评论数据上也能达到吗? 不保证。训练数据为词典与模板构造的仿真语料、信号相对清晰;真实生产数据表达更复杂、噪声更大,指标会相应回落,这正是后续优化方向。
  6. 混淆矩阵TN=58、FP=2、FN=1、TP=59说明什么? 120条测试样本仅3条误判,对应97.50%准确率,且误判主要来自带转折小句的评论;正负两类精确率与召回率高度均衡(正面F1 97.52%、负面F1 97.48%)。
  7. 训练需要GPU吗?普通电脑能跑吗? 不需要GPU,CPU即可训练;字符表仅269维、模型轻量,运行日志显示设备为cpu,12轮训练即完成、损失由0.5825收敛至0.0004。
  8. 相比LangGraph这类现成框架,自研多智能体编排的价值在哪? 只保留「智能体 + 共享状态 + 顺序调度」三个核心抽象,代码轻、可读性强,便于教学与二次开发;本文复现该范式未引入重型依赖,结构清晰易扩展。
  9. 如何获取完整代码、数据与配套AI agent、skill? 随原文资料包提供,包含全部源码、1200条评论数据集、六张可视化图表、运行日志与分析报告,获取方式见文末作者声明。

附录:关键代码与数据文件清单

拓端/├── src/│   ├── main.py          # 入口:编排智能体流水线│   ├── config.py        # 全局配置与超参数│   ├── lexicon.py       # 中文情感词典与仿真评论生成│   ├── agents.py        # 智能体与流水线框架│   ├── data_agent.py    # 数据采集智能体│   ├── preprocess.py    # 特征工程智能体│   ├── model.py         # 双向LSTM模型定义│   ├── train.py         # 训练与评估智能体│   ├── report_agent.py  # 分析报告智能体│   ├── llm.py           # 可插拔大模型接口层│   ├── visualize.py     # 可视化与终端截图渲染│   └── ...              # 其余辅助文件,完整清单见提交包原文├── data/│   └── reviews.csv      # 中文商品评论数据集├── outputs/│   ├── 01_数据分布.png   # 类别与文本长度分布│   ├── 02_训练曲线.png   # 损失与准确率曲线│   ├── 03_混淆矩阵.png   # 测试集混淆矩阵│   ├── 04_预测样例.png   # 预测置信度样例│   ├── 05_关键特征词.png # 字符区分度排行│   ├── 06_运行截图.png   # 终端运行截图│   ├── 运行日志.txt      # 完整运行日志│   └── LLM分析报告.md    # 大模型生成的分析报告├── checkpoints/│   └── best_model.pt    # 最优模型权重├── requirements.txt     # 依赖清单└── run.bat              # Windows一键运行脚本

封面