Tag Archives: 字符级TF-IDF

DistilBERT与bert-base-chinese微调影评情感分类 agent 实战:英文IMDb与中文豆瓣双语料

本文给出一条在国内网络与算力环境下可完整复现的影评情感分类技术路线。英文分支以 DistilBERT 在 IMDb 影评子集(1,000 条训练)上微调,测试准确率 0.79;中文分支将基座换为 bert-base-chinese、轻量引擎改为字符级 TF-IDF,在 DMSC 豆瓣短评子集(正负均衡)上实测微调 0.67、轻量基线 0.75。文章完整给出数据加载、分词、原生 PyTorch 训练循环、评估(准确率、分类报告、混淆矩阵)的流水线,并把双引擎对照封装为可交互智能体,附完整代码、数据与实测截图。结果表明小样本下轻量基线常与微调持平,中文场景必须换中文基座并优先对齐样本量再对比选型;局限在于中文子集仅 1,300 条、置信区间偏宽,正式项目应扩至万级样本并做交叉验证。

拓端AI助手