TF-IDF、朴素贝叶斯融合识别测算体育产业规模模型|附 AI agent、skill和数据
副标题:76,687条企业登记数据全量实证,识别体育相关企业9,872家、产业规模指数5,309.91,附可交互Agent教程与完整代码数据
成为新会员获取本项目完整报告、代码和数据资料
核心要点
• TL;DR:用行业代码、分层关键词、TF-IDF与朴素贝叶斯三层融合,
• 从四川76,687条登记数据识别9,872家体育产业企业,
• 模糊综合评判给出\[0,1\]经营比重,
• 规模指数5,309.91,
• 泰尔指数定位区域差异。
中文摘要:针对体育产业统计中行业代码覆盖不足、混合经营难以量化的问题,本文基于四川省76,687条企业登记数据,构建”行业代码初筛、关键词与TF-IDF特征、朴素贝叶斯分类”三层融合识别框架,识别体育相关企业9,872家;引入模糊综合评判测算体育经营比重,纯体育企业5,715家,平均比重0.8374;以比重加权法得到产业规模指数5,309.91(可识别地市口径),并分解区域差异来源。回答的问题包括:行业代码遗漏多少体育企业;经营比重如何连续取值;区域差异主要来自经济区间还是经济区内。
本项目完整报告、代码和数据资料
摘要
本文围绕三个具体问题给出可复用方案:如何从7.6万余条企业登记数据中识别体育业务企业;如何把”是不是体育企业”的二元判断细化为连续的经营比重;如何据此估算区域体育产业规模并定位区域差异来源。方法上采用行业代码初筛、分层关键词词典与TF-IDF、朴素贝叶斯文本分类组成的多源融合判定,再用模糊综合评判把经营比重落到[0,1]区间,最后用比重加权法汇总产业规模,并用泰尔指数分解区域差异。全流程代码、数据与封装教程随文附上。
关键词:体育产业;企业文本分类;TF-IDF;朴素贝叶斯;经营比重;泰尔指数
研究背景与痛点:体育产业统计的两个缺口
本节核心结论:体育产业统计的第一缺口是行业登记代码覆盖不足,第二缺口是混合经营企业无法用二元方式计量;本文用三层融合识别加连续经营比重同时补上这两个缺口。
本文改编自一个企业数据要素分析项目:委托方需要从四川省企业登记数据中判断哪些企业在做体育业务、各占多少比重,并据此估算产业规模、定位区域差异。这正好是体育产业统计里最难啃的一块——行业登记代码和实际业务之间偏差太大,大量体育用品销售、健身培训企业被登记在批发零售等其他大类里。我们把处理这个问题的完整思路整理成文:先用行业代码做显性初筛,再用分层关键词词典和TF-IDF、朴素贝叶斯做文本深挖,然后把两种证据融合成五个层级的判定,最后用模糊综合评判给每家企业算出[0,1]区间的体育经营比重。所有数字都经过数据文件逐行复核。
本文完整代码、数据与配套 AI Agent 、skill请阅读原文链接获取。
痛点一:行业代码漏掉了近一半体育企业
清洗后行业代码89xx仅5,457家,占融合识别总数9,872家的55.3%,意味着约44.7%的体育相关企业被登记在其他行业大类下,单纯按代码统计会系统性低估体育产业规模。
痛点二:兼营企业的体育业务无法二分
大量批发零售、教育、商务服务类企业兼营体育业务。把它们整体计入或整体剔除都会失真,需要一个连续的”体育经营比重”来加权。
技术方案总览
本节核心结论:整条链路可以概括为”清洗→三层识别→融合分层→连续比重→规模汇总→差异分解”六个环节,每个环节的输出都是下一环节的输入。
数据读取与清洗 | v 字段校验与去重 | v行业代码初筛(89xx) | v关键词词典 + TF-IDF + 朴素贝叶斯 | v多层融合分类(五层级) | v经营比重测算(模糊综合评判) | v比重加权规模汇总 + 泰尔指数分解 | v模型验证与SHAP解释 | v可视化与政策建议
项目文件目录如下:
体育产业比重识别├── data.xlsx # 原始登记数据 76,687 条├── 01_标准分析数据库.xlsx # 清洗+识别+比重 76,589 条├── 02_地市汇总数据.xlsx # 21 地市汇总├── 03_体育企业专项数据.xlsx # 9,872 家体育企业├── sports_step01_data_clean.py├── sports_step02_nlp_classify.py├── sports_step03_statistical.py├── sports_step04_ml_model.py├── sports_step05_visualization.py├── sports_step06_final_summary.py├── 4_其他/│ ├── 分析过程记录.docx│ ├── 政策建议简版.docx│ └── 数据采集与说明.pdf└── 5_可视化成果集/ # 14 张成果图
数据来源与预处理:体育产业识别的输入契约
本文节选自拓端发布的《TF-IDF、朴素贝叶斯融合识别测算体育产业规模模型》,如需获取全文内容,可进入拓端官网搜索查看。
本节核心结论:输入是76,687条企业级登记记录,清洗后76,589条;核心文本字段”主要业务活动”决定了后续识别效果的上限。
- 数据名称:四川省企业登记数据与标准分析数据库(01_标准分析数据库.xlsx)
- 数据量:原始76,687条;清洗后76,589条
- 字段:统一社会信用代码、详细名称、行业代码、主要业务活动(原始4字段);清洗后新增行业大类、地市、经济区、融合分类、体育经营比重、比重分段、匹配关键词数、TF-IDF体育得分、朴素贝叶斯体育概率等
- 数据来源:四川省企业注册信息,由拓端团队整理核对
- 时间跨度:企业登记存量截面数据
- 区域跨度:四川省21个地市、五大经济区
- 数据格式:xlsx
- 数据简介:以统一社会信用代码为主键的企业级登记记录,主要业务活动为中文短文本,是文本分类与比重测算的核心输入
- 可支撑主题:一是体育企业识别方法对比;二是混合经营企业业务比重测算;三是区域产业规模与差异分解;四是政策分区施策评估
- 数据指标:见上文字段清单

数据清洗与标准化
本文的建模口径以配套数据文件复核为准:原始数据76,687条,清洗后76,589条;原始行业代码89xx共5,481家,清洗后为5,457家。项目报告书中”76,688″”5,481″等表述与数据文件存在出入处,一律以数据文件复核结果为准。
提示词:企业登记数据清洗与标准化
背景:我拿到了7.6万余条企业登记记录,字段有统一社会信用代码、详细名称、行业代码和主要业务活动,里面有空值、重复和格式不统一的问题。 角色:你是一名熟悉工商登记数据与pandas的Python数据工程师。 任务:请帮我写一段数据清洗代码,删掉关键字段为空的记录、按信用代码去重,并把行业代码统一成4位字符串。 要求:用pandas实现,输出清洗前后的行数对比,不要改动原始文件;行业代码补齐到4位,业务活动文本长度不足2个字符的记录剔除。 举例:输入data.xlsx共76,687条,期望输出约76,589条,并打印”清洗前 76687 条,清洗后 76589 条”。
以上代码运行后得到清洗前76,687条、清洗后76,589条,与数据文件逐行核对一致。删除的98条记录全部是主要业务活动为空的样本,损失率0.13%。
核心模型与方案设计:体育产业三层融合识别框架
本节核心结论:行业代码负责”确定”,关键词词典负责”召回”,TF-IDF与朴素贝叶斯负责”泛化”,三者融合后把二元判断升级为显性、确认、待定、潜在、非体育五个层级。
第一层与第二层:分层关键词与行业代码特征
提示词:分层体育关键词与行业代码特征提取
背景:清洗后的数据里,行业代码89开头的只有5,457家,但我抽样发现很多体育用品销售、健身培训企业登记在批发零售等其他大类里。 角色:你是一名做过中文短文本挖掘的Python工程师。 任务:请帮我构造识别特征:先按行业代码打显性标签,再用一份分层体育关键词词典做匹配,统计每家企业的命中词数与命中类别。 要求:词典按核心词、球类、水上、冰雪、户外、武术格斗、休闲、产业服务、装备九类组织;输出”匹配关键词数”与”是否体育行业代码”两个特征列。 举例:名称含”成都某某体育用品有限公司”、业务活动含”体育用品批发”的企业,匹配关键词数≥2,是否体育行业代码=0。
第三层:TF-IDF与朴素贝叶斯文本分类
提示词:TF-IDF与朴素贝叶斯体育概率建模
背景:光靠词典会漏掉”户外运动策划””青少年体适能培训”这类不含高频体育词的表达,我希望模型能学到词的权重差异。 角色:你是一名熟悉scikit-learn的机器学习工程师。 任务:请帮我用TF-IDF把企业名称与业务活动文本向量化,训练一个朴素贝叶斯分类器,并输出每家企业的体育概率。 要求:TF-IDF最多取5,000个特征;朴素贝叶斯alpha取0.1;用5折分层交叉验证报告F1的均值与标准差;随机种子固定为42。 举例:输入76,589条文本,期望输出F1约0.89,并新增一列”nb体育概率”取值在[0,1]之间。
验证结果:正样本9,845家(12.85%),负样本66,744家,5折交叉验证F1为0.8923±0.0031,各折F1在0.8891至0.8943之间,模型在不同数据划分下表现稳定。
多层融合分类与经营比重测算
提示词:多层融合分类与体育经营比重测算
背景:行业代码、关键词和模型概率三路证据经常不一致,直接二分会丢掉大量兼营体育业务的企业。 角色:你是一名既懂统计口径又懂业务规则的数据分析师。 任务:请帮我设计一个融合规则,输出显性体育、确认体育、待定体育、潜在体育、非体育五个层级,并给每家企业算一个[0,1]的体育经营比重。 要求:显性体育以行业代码为准;确认体育要求关键词数≥1且模型概率>0.5;比重用关键词密度、TF-IDF得分加权,需说明每一档的取值区间。 举例:行业代码89xx且名称含”健身”的企业→显性体育、比重0.988左右;关键词数=1且概率0.6的企业→确认体育、比重约0.6。
产业规模汇总与区域差异分解
提示词:比重加权产业规模汇总与泰尔指数分解
背景:我已经拿到每家企业的体育经营比重,想从地市和经济区两个层面看产业规模和差异来源。 角色:你是一名做过区域经济差异分解的统计分析师。 任务:请帮我做两件事:一是用比重加权法汇总各地市产业规模指数,二是用泰尔指数把总体差异分解为经济区间和经济区内两部分。 要求:企业规模用同行业均值代理;泰尔分解必须满足总差异等于区间与区内之和,两个贡献率加总应为100%;分解不守恒时直接报错。 举例:输入44,155家可识别地市企业,期望输出成都规模指数约3,486.632,泰尔总差异约1.98且区间占比不足1%。
测试结果与对比:体育产业规模测算的实测结果
本节核心结论:融合识别共9,872家体育相关企业;比重加权后产业规模指数5,309.91;泰尔分解显示差异99.89%来自经济区内部,而非经济区之间。
对全量76,589条数据执行融合判定,结果如下:
| 融合分类 | 企业数 | 占比 |
|---|---|---|
| 非体育 | 66,717 | 87.11% |
| 显性体育 | 5,457 | 7.13% |
| 确认体育 | 3,743 | 4.89% |
| 待定体育 | 645 | 0.84% |
| 潜在体育 | 27 | 0.04% |
| 体育企业合计 | 9,872 | 12.89% |
经营比重分段结果:
| 比重区间 | 企业数 | 占比 |
|---|---|---|
| 0(非体育) | 66,717 | 87.11% |
| 0.1~0.3(低) | 29 | 0.04% |
| 0.3~0.5(中) | 745 | 0.97% |
| 0.5~0.8(高) | 3,383 | 4.42% |
| 0.8~1.0(纯体育) | 5,715 | 7.46% |
体育企业整体平均比重0.8374,中位数1.0000;显性体育平均0.9882,确认体育平均0.6977,待定体育平均0.3991。这一分布说明:被识别出的体育企业大多以体育为主营方向,混合经营企业主要集中在批发零售、教育与商务服务等行业大类。
由于登记数据不含营收字段,本文以企业数量构造”产业规模指数”(每家企业贡献1.0×经营比重),这是规模的代理指标,不等于增加值口径。基于标准分析数据库复核:
- 可识别地市样本44,155家企业,体育相关企业6,107家(汇总表口径,即”名称或业务含体育关键词”;按融合分类口径为6,268家),产业规模指数合计5,309.91(两种口径下完全一致);
- 成都规模指数3,486.632,占可识别样本的65.7%;绵阳191.563、泸州186.600、宜宾166.700、乐山144.100分列二至五位;
- 五大经济区中,成都平原经济区4,149.152(78.1%),川南经济区538.127,川东北经济区386.800,攀西经济区216.131,川西北生态经济区19.700。
泰尔指数分解(对44,155条可识别地市样本逐家企业计算):
| 指标 | 数值 | 贡献率 |
|---|---|---|
| 总差异 | 1.9806 | 100% |
| 经济区间差异 | 0.0022 | 0.11% |
| 经济区内差异 | 1.9784 | 99.89% |
分解结果满足总差异等于区间与区内之和的恒等式。各经济区内部差异排序为:川东北0.0250、川西北0.0233、成都平原0.0044、川南0.0012、攀西0.0003。与项目报告书中”组间贡献率超过60%”及过程记录中”区间贡献率204.03%”的表述不同,本文以可复核计算为准:省内差异主要来自经济区内部的地市间分化,而非经济区之间。政策含义相应调整为:补齐川东北、川西北经济区内部落后地市的产业配套,比单纯在五大经济区之间转移资源更有效。
地市产业结构余弦相似度经复核介于0.957至0.998之间,均值0.991,各地业态布局高度同质化的结论成立。
模型验证与可解释性
本节核心结论:随机森林与SHAP的作用是验证”规则是否被一致执行”,而不是证明模型具备独立预测能力;这一点必须在引用图表时同时说明。
提示词:随机森林交叉验证与标签泄漏提示
背景:融合规则里的训练标签来自行业代码和关键词,我想知道机器学习模型是不是只学到了规则本身,还是真的有增量信息。 角色:你是一名重视可解释性与验证严谨性的机器学习工程师。 任务:请帮我训练随机森林做三分类验证,输出交叉验证宏平均F1和特征重要性,并指出标签泄漏风险。 要求:三等级标签为高体育、中体育、低体育;报告5折宏平均F1;解释SHAP结果时说明训练标签与特征的派生关系。 举例:输入特征含”是否体育行业代码””匹配关键词数””nb体育概率”,期望输出宏平均F1与特征重要性排序,并提示”该得分反映规则一致性”。
需要如实说明的边界:三分类标签由体育经营比重派生,而比重本身由行业代码、关键词数与模型概率计算得到,特征与标签存在同源关系,交叉验证得分(学习曲线显示验证集宏平均F1约0.96以上,ROC对比中XGBoost与LightGBM的AUC为1.000、随机森林0.995)反映的是规则一致性而非独立的泛化能力。SHAP分析中nb体育概率(平均|SHAP|约1.05)与匹配关键词数(约0.72)贡献最大,与特征来源一致。因此该环节应定位为”规则一致性校验”,不能作为独立的预测性能证据;要让模型具备真实预测价值,需引入人工标注样本或外部经营数据重建标签。






区域分布与业态结构
本节核心结论:产业规模高度集中于成都平原经济区,业态结构以健身休闲为主、竞赛表演供给不足;规模的主要驱动因素是体育企业数量而非单体规模。





过程记录中的分业态测算(有效样本6,268家)显示:体育健身休闲活动占72.10%,其他体育服务占18.82%,体育管理活动占7.84%,体育竞赛表演活动仅占1.24%,本土赛事供给不足。相关性分析显示产业规模仅与体育企业数量高度相关(r≈1.000),企业密度和平均经营比重与规模无显著相关,说明现阶段扩规模主要靠培育市场主体数量。相关结论在引用时应注明其口径为”可归类样本”,未覆盖全部9,872家识别企业。
系统实现与落地
本节核心结论:该方法的落地价值不在模型精度,而在把”沉睡”的登记数据转为可分区施策的决策信息,并可复制到文化、健康等同类产业分类场景。
- 统计口径优化:将”行业代码+NLP双通道”识别纳入常规统计流程,建立隐性体育企业动态监测库。
- 分区施策:成都平原聚焦业态创新与数字化;川南承接制造业转移、建设赛事中心;川东北补齐设施短板、培育户外运动;攀西与川西北发展生态体育与民族体育赛事。
- 市场主体培育:产业规模与体育企业数量高度相关,政策优先级应放在企业孵化与数量增长上,而非单纯提高存量企业比重。
- 数据要素释放:本流程展示了把”沉睡”的登记数据转化为产业决策信息的方法,可复制到文化、健康等产业分类场景。
可交互Agent
2\. 拆解原始分析流水线
2.1 输入与数据契约
- 必填字段:统一社会信用代码、企业详细名称、行业代码、主要业务活动(或经营范围文本)。
- 可选字段:所属地市、所属经济区、企业规模代理变量、人工复核标签。
- 校验规则:字段存在性、关键字段空值、信用代码重复、行业代码格式(统一补齐为4位字符串)、业务活动文本长度。
2.2 六个原始步骤的输入与输出
| 步骤 | 输入 | 输出 |
|---|---|---|
| 1 数据清洗与标准化 | 原始登记数据 | 标准分析数据库(76,589条) |
| 2 分层关键词、TF-IDF与朴素贝叶斯分类 | 业务活动文本、行业代码 | 关键词匹配数、TF-IDF特征、体育概率 |
| 3 地市识别、比重加权、泰尔指数与相关性 | 分类结果与规模代理变量 | 经营比重、地市汇总、差异分解 |
| 4 XGBoost、Random Forest与SHAP解释 | 特征矩阵与融合标签 | 交叉验证指标与特征重要性 |
| 5 静态及交互式可视化 | 各级汇总结果 | 14张成果图 |
| 6 数据库、汇总表、报告与成果包导出 | 全部中间结果 | Excel、HTML与分析摘要 |
2.3 唯一事实清单
教程、代码默认值、样例数据、界面指标卡和最终报告,必须全部从同一份事实清单读取,避免口径漂移。本文已复核的事实基线如下:
| 指标 | 复核值 | 说明 |
|---|---|---|
| 原始记录数 | 76,687 | 来自data.xlsx逐行统计 |
| 清洗后记录数 | 76,589 | 来自01_标准分析数据库.xlsx |
| 行业代码89xx(原始/清洗后) | 5,481 / 5,457 | 清洗过程剔除重复与缺失 |
| 关键词匹配命中 | 9,550 | 分层词典9类105词 |
| 融合识别体育企业 | 9,872 | 显性5,457、确认3,743、待定645、潜在27 |
| 可识别地市样本 | 44,155家 | 体育相关:关键词口径6,107家 / 融合分类口径6,268家 |
| 产业规模指数 | 5,309.91 | 比重加权法,成都3,486.632 |
| 泰尔总差异 | 1.9806 | 区间0.11%、区内99.89%,满足分解恒等式 |
3\. Agent的目标形态与交互顺序
3.1 页面五区块
- 数据上传与字段映射。
- 识别策略与阈值配置。
- 企业分类与经营比重结果。
- 地区规模、差异分解与模型解释。
- 图表预览、人工复核与结果导出。
3.2 交互状态
Agent应显式区分七种状态:未上传、校验失败、可运行、运行中、部分成功、运行完成、导出完成。每一步都要显示输入规模、输出规模、耗时、警告和失败原因,不允许静默跳过。

4\. 环境、依赖与启动方式
| 组件 | 版本/说明 |
|---|---|
| Python | 3.12 |
| 交互层 | Streamlit |
| 数据处理 | pandas、numpy、openpyxl |
| 建模 | scikit-learn(TF-IDF、朴素贝叶斯、交叉验证) |
| 可选增强 | xgboost、shap |
| 图表 | matplotlib、seaborn、pyecharts |

5\. 数据准备与样例数据
样例数据应从原始工作簿复制一份脱敏样本,而不是凭空造数。行业代码统一为4位字符串。需说明原始数据、清洗数据、体育企业专项数据和地市汇总数据四者之间的关系,并提供字段示例、数据字典和人工复核列。大文件采用分块读取或缓存,避免页面卡死。

6\. 搭建Agent骨架
把6个串行脚本拆成独立函数,取消绝对路径和”导入即执行”。用侧栏承载阈值、模型开关、随机种子、地区映射和输出选项;用主区展示数据预览、运行轨迹、指标卡、表格和图表;用st.stop()实现”先校验、后运行”的两段式流程;建立统一结果对象,供界面、下载和报告生成复用。
7\. 逐个实现核心工具模块
7.1 数据清洗工具
输出空值、重复值、行业代码、文本长度与质量报告,并在界面上给出清洗前后行数对比。

7.2 体育业务识别工具
分层关键词匹配、TF-IDF特征、朴素贝叶斯分类,再按行业代码、关键词命中数和模型概率做融合判定,输出显性、确认、待定、潜在、非体育五档。

7.3 经营比重测算工具
按显性、确认、待定、潜在、非体育的分层规则给出连续的体育经营比重,说明关键词密度、TF-IDF得分和模型概率各自贡献多少,并对比重范围与异常值做检查。

7.4 产业规模与区域差异工具
直接法与比重加权法并列展示,提示规模代理变量口径;完成地市与经济区汇总;泰尔指数分解必须做恒等式校验,不守恒时直接报错而不是输出结论。



7.5 模型验证与可解释工具
以朴素贝叶斯5折交叉验证为主,同时报告二类F1与宏平均F1;重点防止训练标签由同一规则派生导致的”自我验证”(标签泄漏);随机森林、XGBoost与SHAP等增强工具只在模型真实训练成功后展示,否则明确标注为不可用。

7.6 可视化与报告工具
图表覆盖识别覆盖、经营比重、地市规模、经济区、特征重要性和混淆矩阵;导出Excel、HTML和分析摘要。

Python、熵权法、CUSUM与PSO-BP组合模型在网球竞技动量实时监控与胜负预测研究|附数据代码
相关文章
内容概要:该文以某年度世界顶级网球锦标赛男单项目的7,284条逐分遥测数据为样本,先用皮尔逊卡方检验(统计量χ²=111.497,自由度6,p≈9.51×10⁻¹⁸)证伪”表现独立”假设,确证网球单打中动量效应客观存在;再用熵权法把优选出的6项核心变量合成为连续型综合动量指标M\_t,并引入工业质量控制领域的CUSUM控制图识别动量结构性变点,定义相对距离指标V\_t衡量转移强度;最后构建粒子群优化BP 神经网络 预测下一分胜负,融合动量特征后AUC达0.7443、精确率0.6963,优于随机森林(0.6550)、SVM(0.6383)等对照模型,并用SHAP博弈归因指出非受迫性失误是最强的负向因子。该文与本文同属”体育场景下的Python量化建模”:前者处理赛事遥测时序数据,本文处理企业登记文本与区域汇总数据,两者共同展示了一条把非结构化业务数据转化为可决策指标的完整链路。
原文链接:Python熵权法、CUSUM与PSO-BP组合模型在网球竞技动量实时监控与胜负预测研究|附数据代码 – 拓端
配套工具与资源
本节核心结论:全部依赖均为开源库,脚本按 step01→step06 顺序执行即可复现;Agent版本需额外安装Streamlit。
依赖清单(requirements.txt):
pandas>=2.0numpy>=1.24scikit-learn>=1.3openpyxl>=3.1matplotlib>=3.7seaborn>=0.12xgboost>=1.7 # 可选,用于增强模型对比shap>=0.42 # 可选,用于可解释分析streamlit>=1.28 # 可选,用于可交互Agent界面
示例运行命令(以代码包实际接口为准):
pip install -r requirements.txtpython sports_step01_data_clean.pypython sports_step02_nlp_classify.pypython sports_step03_statistical.pypython sports_step04_ml_model.pypython sports_step05_visualization.pypython sports_step06_final_summary.py
可交互Agent版本:
streamlit run app.py
配套资源包含4个数据工作簿(原始库、标准分析库、地市汇总、体育企业专项)、6个Python脚本、1份数据采集说明PDF与14张可视化成果图,均随代码包提供。
结论与展望
本节核心结论:三层融合识别与连续经营比重把体育产业统计从”数企业”推进到”量业务”,本文给出的口径与局限说明可支撑后续研究与业务复用。
三层融合识别框架的价值在于把统计分类标准转化为可执行的识别规则,覆盖了行业代码方法的系统性遗漏;模糊综合评判让”是不是体育企业”升级为”体育业务占多少”,为规模估算提供连续权重;全流程数字口径经数据文件复核并公开冲突处理原则,提升结论可复核性。面向业务的价值体现在:统计部门可用于覆盖核查,投资机构可用于区域布局评估,企业可用于目标市场竞争格局判断。
后续可拓展的方向包括:引入人工标注样本重建标签以消除标签泄漏;接入营收或税务数据把规模指数升级为增加值口径;用Sentence-BERT或LLM零样本分类提升长尾业态召回;把流程扩展到跨年度与跨区域比较。
常见问题 FAQ
Q1:体育产业企业识别为什么不能只用行业代码?
清洗后行业代码89xx共5,457家,仅占融合识别总数9,872家的55.3%。大量体育用品销售、健身培训企业登记在批发零售、教育等大类下,只用代码会漏掉约44.7%的体育相关企业。
Q2:TF-IDF和朴素贝叶斯在这套方案里各负责什么?
TF-IDF负责把企业名称与业务活动文本转成加权词向量,突出”体育””健身””赛事”这类区分度高的词;朴素贝叶斯负责在该向量上输出体育概率,并用5折分层交叉验证给出F1(0.8923±0.0031)。前者做表示,后者做判定。
Q3:体育经营比重是怎么算出来的,为什么限定在[0,1]?
比重由融合分类层级、关键词密度与TF-IDF体育得分共同决定,按显性、确认、待定、潜在、非体育五档分层赋权,输出统一截断到[0,1]区间,因此可以直接作为规模汇总的权重使用。
Q4:产业规模指数5,309.91是什么口径,能当产值用吗?
不能。登记数据不含营收字段,该指数是”企业数量×体育经营比重”的累加值(1.0×比重的加权计数),属于规模的代理指标,与产业增加值口径不可直接比较。
Q5:泰尔指数分解为什么显示经济区之间差异只占0.11%?
因为差异主要来自经济区内部的地市分化:成都一市规模指数3,486.632,占可识别样本65.7%,而同一经济区内的其他地市与之差距极大。分解满足总差异=区间+区内的恒等式,与原文”组间贡献超60%”的表述不一致处,以可复核计算为准。
Q6:模型F1 0.89、AUC接近1.000,能说明识别准确吗?
不能单独作为准确率证据。三分类标签由经营比重派生,而比重又由行业代码、关键词与模型概率算出,特征与标签同源存在标签泄漏,这些得分反映的是规则一致性。要证明真实预测能力,需要人工标注样本或外部经营数据重建标签。
Q7:这套流程能换到文化、健康等其他产业吗?
可以,主要替换三处:一是行业代码区间(如体育为89xx),二是分层关键词词典,三是融合判定阈值与经营比重分段规则。清洗、TF-IDF、朴素贝叶斯、规模加权与泰尔分解部分可直接复用。
Q8:数据里没有营收字段,规模测算还能怎么改进?
可选路径包括接入企业年报或税务数据补全营收;用从业人员数或注册资本作为替代代理变量并做敏感性分析;或把规模指数回归到官方体育产业增加值上做校准,但需额外外部数据支撑。
Q9:76,687、76,589、5,481、5,457这几个数字以哪个为准?
以数据文件逐行复核结果为准:原始76,687条、清洗后76,589条;原始行业代码89xx共5,481家、清洗后5,457家。项目报告书中”76,688″等表述与数据文件存在出入处,一律以复核结果覆盖。
Q10:可交互Agent需要自己搭环境吗,依赖有哪些?
本文给出完整依赖清单与示例运行命令,本地安装pandas、numpy、scikit-learn、openpyxl等即可按step01至step06顺序复现;若使用交互界面,需额外安装Streamlit并执行streamlit run app.py。
Q11:为什么选朴素贝叶斯而不上深度学习?
业务活动是短文本、特征高维稀疏,朴素贝叶斯在该类数据上训练快、可输出概率且基线稳定,实测5折F1已达0.8923;深度学习需要大量标注样本,本文缺乏人工标注集,投入产出比不合理。
Q12:相比单一行业代码法,创新点具体在哪?
三点:一是把行业代码、关键词词典、TF-IDF与朴素贝叶斯三路证据融合成五层级判定,覆盖代码的44.7%遗漏;二是用模糊综合评判把二元判断升级为[0,1]连续经营比重;三是全流程数字口径可复核并公开冲突处理原则,使结论可被第三方复算。
参考文献与延伸阅读
原文未附正式参考文献列表。本文的延伸阅读与数据来源如下:
- 数据来源:某公开赛事提供的四川省企业注册信息,由拓端团队整理核对(详见”数据来源与预处理”章节)。
- 配套资源:4个数据工作簿、6个Python脚本、1份数据采集说明PDF、14张可视化成果图,随代码包提供。
附录:事实核验清单
| 指标 | 复核值 | 复核方式 |
|---|---|---|
| 原始记录数 | 76,687 | data.xlsx逐行统计 |
| 清洗后记录数 | 76,589 | 01_标准分析数据库.xlsx逐行统计 |
| 行业代码89xx(原始/清洗后) | 5,481 / 5,457 | 逐行匹配行业代码前缀 |
| 关键词匹配命中 | 9,550 | 分层词典9类105词匹配 |
| 融合识别体育企业 | 9,872 | 显性5,457、确认3,743、待定645、潜在27 |
| 可识别地市样本 | 44,155家 | 剔除”未识别”地市后统计 |
| 可识别地市体育企业数 | 6,107(关键词口径)/ 6,268(融合分类口径) | 02汇总表”体育企业数”列=名称或业务含体育关键词,逐市加总6,107;01明细库按融合分类逐行统计为6,268;两表企业总数(44,155)与产业规模指数(5,309.91)完全一致,仅该列口径不同 |
| 产业规模指数 | 5,309.91 | 比重加权法,成都3,486.632 |
| 泰尔总差异 | 1.9806 | 区间0.11%、区内99.89%,恒等式校验通过 |
| 余弦相似度 | 0.957~0.998,均值0.991 | 地市产业结构向量两两计算 |
作者声明:本文由数据挖掘领域分析师整理,基于四川省企业登记数据完成全部可复核计算,相关模型方法可直接复用于体育产业分类识别场景。
English Abstract: This article answers three questions on Sichuan sports industry statistics: how to identify sports-related enterprises from 76,687 registration records; how to convert binary classification into a continuous operating ratio in [0,1]; and how to estimate regional industry scale and decompose regional disparity. A three-layer fusion framework (industry code screening, hierarchical keyword dictionary with TF-IDF, and Naive Bayes classification) identifies 9,872 sports-related enterprises; fuzzy comprehensive evaluation assigns operating ratios (5,715 pure-sports enterprises, mean ratio 0.8374); ratio-weighted aggregation yields a scale index of 5,309.91 for identified cities; Theil decomposition locates the disparity source.
Keywords: sports industry; enterprise text classification; TF-IDF; Naive Bayes; operating ratio; Theil index

封面:

Python开发SVM、XGBoost、LightGBM、贝叶斯优化CatBoost、TF-IDF协同过滤融合模型预测就业状态实现人岗精准匹配|附AI智能体和数据
Python结合TF-IDF、逻辑回归、transformers、DistilBERT实现评论语义搜索|附AI智能体、代码和数据
多源特征融合新闻文本分类实战:LLM语义嵌入、TF-IDF与结构化元数据Scikit-learn端到端管道构建 | 附代码数据
LLM与词袋、TF-IDF在新闻数据集上分类与聚类多维对比 | 附代码数据

