Category Archives: 大数据部落

TensorFlow 2建立神经网络分类模型——以iris数据为例

By tecdat9月 14, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Iris, TensorFlow, 分类, 模型, 神经网络

隐藏层和神经元的理想数量取决于问题和数据集。与机器学习的多个方面一样，选择最佳的神经网络形状需要一定的知识水平和实验基础。一般来说，增加隐藏层和神经元的数量通常会产生更强大的模型，而这需要更多数据才能有效地进行训练。

Matlab建立逻辑回归，决策树，SVM，KNN和朴素贝叶斯模型分类绘制ROC曲线

By tecdat9月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术knn, matlab, ROC, svm, 决策树, 分类, 回归, 朴素贝叶斯, 逻辑回归

尽管对于较高的阈值，SVM可以产生更好的ROC值，但逻辑回归通常更擅长区分不同类别。朴素贝叶斯的ROC曲线通常低于其他两个ROC曲线，这表明样本内性能比其他两个分类器方法差。

R语言POT超阈值模型在洪水频率分析中的应用研究

By tecdat9月 7, 2020地理，运输，旅行和物流, 大数据部落, 数理统计POT, R语言, 巨灾, 巨灾风险, 超阈值模型, 频率, 风险

结合POT模型的洪水风险评估能够从有限的实测资料中获取更多的洪水风险信息。

R语言使用bootstrap和增量法计算广义线性模型（GLM）预测置信区间

By tecdat9月 3, 2020大数据部落, 数理统计, 计算机科学与技术bootstrap, glm, R语言, 增量法, 广义线性模型, 置信区间

增量法使我们具有（渐近）正态性，因此一旦有了标准偏差，便可以得到置信区间。

【视频讲解】游记数据感知旅游目的地形象

By tecdat9月 2, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落, 数理统计, 机器学习, 特色视频, 计算机科学与技术LDA, nlp, 主题模型, 情感分析, 数据, 文本, 文本挖掘, 旅游, 游记, 驴友

越来越多的人愿意精神消费。旅游不仅可以提升人们对外地环境和外地人文的认知，也可以放松身心、愉悦心情，是一种受欢迎的精神消费。

R语言作图不显示中文解决办法，如何使用中文字体

By tecdat9月 1, 2020大数据部落, 技术支持, 计算机科学与技术R语言, 不显示中文, 中文, 作图

R语言绘图中的中文默认字体宋体，希望用其他字体绘图，保存成PDF格式不能识别中文。

Rapidminer关联规则和文本挖掘模型对评论数据进行分析

By tecdat8月 26, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 关联规则, 文本, 文本挖掘, 模型

关联规则是if / then语句，可帮助发现看似无关的数据之间的关系。关联规则的一个示例是“如果客户购买鸡蛋，那么他有80％的可能性也购买牛奶”。

使用markdown，knitr和pandoc在R语言中编写可重现的报告

By tecdat8月 25, 2020大数据部落, 技术支持, 计算机科学与技术, 软件工程markdown, pandoc, R语言, 报告

在本指南中，我们想向您展示如何使用现在提供的一些奇妙，免费的工具和软件包编写美观，可重复的报告。这些工具将帮助您交流科学知识，并希望您再也不会复制和粘贴R输出。

广义线性模型(GLMs)算法和零膨胀模型分析

By tecdat8月 24, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术广义线性模型, 模型, 算法, 线性, 零膨胀模型

广义线性模型（GLM）是通过连接函数,把自变量线性组合和因变量的概率分布连起来

R语言中广义线性模型(GLM)中的分布和连接函数分析

By tecdat8月 21, 2020大数据部落, 数理统计, 机器学习glm, R语言, 分布, 广义线性模型, 线性, 连接函数

通常，GLM的连接函数可能比分布更重要。

R语言自适应平滑样条回归分析

By tecdat8月 19, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 平滑样条回归, 样条

一种类型的平滑称为样条平滑。柔性金属（通常是铅），可以用作绘制平滑曲线的参考。将选择一组点（称为结），然后将样条线压在特定的x，y点，然后弯曲以通过下一个点，依此类推。

R语言区间数据回归分析

By tecdat8月 19, 2020R语言辅导, 大数据部落, 数理统计, 计算机科学CS辅导R语言, 区间, 回归

回归分析是一种十分常见的数据分析方法,通过观测数据确定变量间的相互关系。传统回归分析以点数据为研究对象,预测结果也是点数据,而真实数据往往在一定范围内变动的。

R语言ggsurvplot绘制生存曲线报错 : object of type ‘symbol‘ is not subsettable

By tecdat8月 17, 2020大数据部落, 技术支持, 数理统计ggsurvplot, R语言, 报错, 生存曲线

WeChat Tencent QQ email print 由Kaizong Ye，Qing Li撰

R语言使用蒙特卡洛模拟进行正态性检验及可视化

By tecdat8月 14, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 可视化, 模拟, 正态, 蒙特卡洛

如何使用蒙特卡洛模拟来推导随机变量可能的分布，我们回到统计数据（无协变量）进行说明。

R软件SIR模型网络结构扩散过程模拟

By tecdat8月 13, 2020大数据部落, 数理统计, 计算机科学与技术R, R语言, R软件, SIR模型, 模型, 模拟, 网络

与普通的扩散研究不同，网络扩散开始考虑网络结构对于扩散过程的影响。这里介绍一个使用R模拟网络扩散的例子。

使用线性模型、回归决策树自动组合特征因子水平

By tecdat8月 12, 2020大数据部落, 数理统计, 计算机科学与技术决策树, 特征, 线性

每次我们在应用计量经济学课程中遇到实际应用时，我们都要处理类别变量。

在RapidMiner中建立决策树模型

By tecdat8月 11, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 决策树

本教程的目的是介绍如何在RapidMiner中创建基本决策树。

用Rapidminer做文本挖掘的应用：情感分析

By tecdat8月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 情感, 情感分析, 文本挖掘

情感分析或观点挖掘是文本分析的一种应用，用于识别和提取源数据中的主观信息。

R语言缺失值的处理：线性回归模型插补

By tecdat8月 6, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 插补, 线性, 线性回归模型, 缺失值

在当我们缺少值时，系统会告诉我用-1代替，然后添加一个指示符，该变量等于-1。这样就可以不删除变量或观测值。

如何解决线性混合模型中畸形拟合(Singular fit)的问题

By tecdat8月 5, 2020大数据部落, 技术支持, 数理统计, 计算机科学与技术Singular fit, 畸形拟合, 线性, 线性混合模型

当获得奇异拟合时，这通常表明模型过度拟合-也就是说，随机效应结构太复杂而无法由数据支持，这自然导致建议删除随机效应中最复杂的部分结构（通常是随机斜率）。这种方法的好处在于，它生成了一个更加简约的模型，但并没有过度拟合

数据类岗位需求的数据面

By tecdat8月 2, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术岗位, 数据, 数据分析

大数据背景下各种数据相关的岗位变得炙手可热，长期处于供不应求的状态。近年来随着人工智能的发展，数据分析岗也越发火热。

R语言Markowitz马克维茨投资组合理论分析和可视化

By tecdat7月 25, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 可视化, 马克维茨

至少在统计学的角度上，要评估一个投资组合是否最优是很困难的。

在UBUNTU虚拟机上安装R软件包

By tecdat7月 24, 2020大数据部落, 技术支持R软件, UBUNTU, 安装, 虚拟机, 软件包

使用Ubuntu 虚拟机。安装某些软件包时可能会出现一些问题。一个窍门是打开终端

非参数模型厘定保险费率：局部回归、广义相加模型GAM、样条回归

By tecdat7月 16, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术保险, 回归, 非参数

公司必须使用细分技术才能生存。现在，问题在于，我们不能确定指数衰减是溢价随年龄变化的正确方法。一种替代方法是使用非参数技术来可视化年龄对索赔频率的真实影响。

小数定律的保险业应用：泊松分布模拟索赔次数

By tecdat7月 13, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融保险, 小数定律, 模拟, 泊松, 索赔

在保险业中，由于分散投资，通常会在合法的大型投资组合中提及大数定律。在一定时期内，损失“可预测”。

R语言中自编基尼系数的CART回归决策树的实现

By tecdat7月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术CART, CART回归决策树, R语言, 决策树, 回归, 基尼系数

这里的想法是使距离最大化：想法是区分，所以我们希望样本尽可能不独立。要计算基尼系数。

sas神经网络：构建人工神经网络模型来识别垃圾邮件

By tecdat7月 8, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术SAS, 人工神经网络, 垃圾邮件, 神经网络

神经网络是一种非常通用的灵活预测模型，可用于解决各种问题，包括分类，降维和回归。

R语言多分类logistic逻辑回归模型在混合分布模拟个人风险损失值评估的应用

By tecdat7月 7, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术Logistic, R语言, 个人风险损失值, 单个风险损失值, 回归, 多分类logistic逻辑回归, 混合分布, 逻辑回归

通常，我们在回归模型中一直说的一句话是“ 请查看一下数据 ”。

图像倾斜校正算法的MATLAB实现：图像倾斜角检测及校正

By tecdat7月 6, 2020信息与通信工程, 图像处理, 大数据部落, 控制科学与工程, 数理统计, 机械工程及自动化, 电子科学与技术, 计算机科学与技术matlab, 图像, 图像倾斜校正, 图像倾斜角, 校正

随着多媒体技术的不断发展，数码相机，高清拍照手机等多媒体设备己经在人们的生活中占据了越来越重要的地位。

R语言时间序列数据指数平滑法分析交互式动态可视化

By tecdat7月 4, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术R语言, 交互式, 动态, 可视化, 指数平滑法, 数据, 时间序列

R语言提供了丰富的功能，可用于绘制R中的时间序列数据。

广义线性模型索赔频率预测：过度分散、风险暴露数和树状图可视化

By tecdat7月 3, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 可视化, 广义线性模型, 树状图, 过度分散, 风险暴露

在精算科学和保险费率制定中，考虑到风险敞口可能是一场噩梦。不知何故，简单的结果是因为计算起来更加复杂，只是因为我们必须考虑到暴露是一个异构变量这一事实。

数据度量消费贷款—消费者的考虑因素

By tecdat7月 1, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术数据, 消费者, 消费贷款

我们生活在互联网时代，越来越多的人选择在网上贷款消费，投资理财早已成为一门学问，一些有头脑的人通过小额的贷款让钱生钱也成为了一种可能，贷款消费的公司越来越多。

R语言通过伽玛与对数正态分布假设下的广义线性模型对大额索赔进行评估预测

By tecdat7月 1, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术R语言, 对数正态分布, 广义线性模型, 线性模型, 预测

我们已经很自然地认为，不仅可以用一些协变量来解释单个索赔的频率，而且可以用单个成本来解释。

R语言精算学：使用链梯法Chain Ladder和泊松定律模拟和预测未来赔款数据

By tecdat6月 24, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融Chain Ladder, R语言, 保险, 泊松, 精算学, 赔款, 链梯法

使用Chain Ladder方法完成流量三角形，即计算我们认为未来几年将支付的平均金额

R语言中回归模型预测的不同类型置信区间应用比较分析

By tecdat6月 22, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 线性, 置信区间

当我们要为预测提供一个置信区间时，建议您为预测器确定置信区间参数的估计和潜在值的置信区间。

R语言中的广义线性模型（GLM）和广义相加模型（GAM）：多元（平滑）回归分析保险资金投资组合信用风险敞口

By tecdat6月 18, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融GAM, glm, R语言, 保险, 信用风险敞口, 回归, 投资组合, 线性模型

在之前的课堂上，我们已经看到了如何可视化多元回归模型（带有两个连续的解释变量）。

R语言对巨灾风险下的再保险合同定价研究案例：广义线性模型和帕累托分布Pareto distributions分析

By tecdat6月 15, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术Pareto distributions, R语言, 保险, 再保险合同定价, 巨灾风险, 帕累托分布, 广义线性模型, 线性模型

本文为非人寿保险课程的一部分，该示例对1900 -2005年间的“ 美国标准化飓风损失 ”数据集进行研究（2008）。我们使用了广义线性模型和帕累托分布Pareto distributions分析。

R语言中GLM(广义线性模型)，非线性和异方差可视化分析

By tecdat6月 12, 2020保险, 可视化和设计, 大数据部落, 数理统计, 经济, 计算机科学与技术glm, R语言, 可视化, 回归, 广义线性模型, 异方差, 线性模型, 非线性

上周在非人寿保险课程中，我们了解了广义线性模型的理论

如何用R语言绘制生成正态分布图表

By tecdat6月 10, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术R语言, 图表, 正态分布

在概率课程中经常会看到标准的正态分布表。

R语言蒙特卡洛计算和快速傅立叶变换计算矩生成函数

By tecdat6月 7, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 傅立叶变换, 矩生成函数, 蒙特卡洛

对精算科学来说，当我们处理独立随机变量的总和时，特征函数很有趣，因为总和的特征函数是特征函数的乘积。

探析大数据期刊文章研究热点

By tecdat6月 3, 2020信息管理与信息系统, 可视化和设计, 大数据部落, 数理统计, 机器学习, 计算机科学与技术主题建模, 数据, 文本挖掘, 期刊, 期刊文章, 概率潜在语义分析, 研究, 语义分析

大数据已经成为变革和创新的技术力量和思维方式，成为当前研究的热门领域。

R语言预测人口死亡率：用李·卡特（Lee-Carter）模型、非线性模型进行平滑估计

By tecdat6月 2, 2020大数据部落, 数理统计, 经济, 计算机科学与技术Lee-Carter, R语言, 人口死亡率, 平滑估计, 李·卡特模型, 模型, 死亡率, 非线性模型, 预测

我和同事一起分析死亡率。我们在研究人口数据集，可以观察到很多波动性。

R语言再保险合同定价案例研究

By tecdat5月 28, 2020保险, 大数据部落, 数理统计, 经济, 金融R语言, 保险, 再保险, 定价

拥有参数模型变得有趣，该模型应该比经验平均值更健壮。

R语言对混合分布中的不可观测与可观测异质性因子分析

By tecdat5月 25, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术R语言, 异质性因子, 混合分布

今天上午，在课程中，我们讨论了利率制定中可观察和不可观察异质性之间的区别（从经济角度出发）。

R语言泊松回归对保险定价建模中的应用：风险敞口作为可能的解释变量

By tecdat5月 22, 2020保险, 大数据部落, 数理统计, 经济, 金融R语言, 保险, 保险定价, 回归, 建模, 模型, 泊松回归

在保险定价中，风险敞口通常用作模型索赔频率的补偿变量。

R语言模拟人类生活预期寿命动态可视化动画图gif

By tecdat5月 21, 2020可视化和设计, 大数据部落, 数理统计R语言, 动态可视化, 可视化, 模拟

这周，我在http://waitbutwhy.com/上发现了一张图片，它代表了典型的人类生活

R语言随机森林模型中具有相关特征的变量重要性

By tecdat5月 20, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术, 软件工程R语言, 变量重要性, 模型, 特征, 随机森林

变量重要性图是查看模型中哪些变量有趣的好工具。

R语言分析负利率下金融市场：负利率和年金价值的变化

By tecdat5月 19, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 价值, 利率, 年金, 金融

从动态的角度看,负利率效应也可以被描述为银行利率变化的速度小于价格指数变化的速度,这是一种违反经济规律的特殊状态。

R语言模拟保险模型中分类器的ROC曲线不良表现

By tecdat5月 18, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融ROC, R语言, 保险模型, 分类, 模拟

在课程中进行案例研究（使用真实数据）时，学生都会惊讶地发现很难获得“好”模型

r语言空间可视化绘制道路交通安全事故地图

By tecdat5月 14, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落R语言, 地图, 空间可视化

当我们要可视化事故数量时，其想法是根据部门的人员进行标准化。

R语言空间可视化：绘制英国脱欧投票地图

By tecdat5月 13, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落可视化, 地图, 投票, 空间可视化, 脱欧, 英国, 英国脱欧

本文我们绘制英国脱欧投票的地图。

使用OpenCV在Python中进行图像处理

By tecdat5月 12, 2020信息与通信工程, 图像处理, 大数据部落, 机械工程及自动化, 电子科学与技术, 计算机科学与技术, 软件工程OpenCV, python, 图像处理

在本教程中，我们将学习如何使用Python语言执行图像处理。我们不会局限于单个库或框架；但是，我们将最常使用

R语言对布丰投针（蒲丰投针）实验进行模拟和动态可视化生成GIF动画

By tecdat5月 11, 2020大数据部落, 数理统计GIF动画, R语言, 动态可视化, 动画, 可视化, 布丰投针, 模拟, 蒲丰投针

布丰投针是几何概率领域中最古老的问题之一。它最早是在1777年提出的。

SPSS中的等级（层次）线性模型Multilevel linear models研究整容手术数据

By tecdat5月 9, 2020大数据部落, 数理统计, 计算机科学与技术Multilevel linear models, SPSS, 等级线性模型, 线性模型

我们将使用整容手术数据说明两种中心化类型，并对其进行等级线性模型分析。

Python中基于网格搜索算法优化的深度学习模型分析糖尿病数据

By tecdat5月 8, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术, 软件工程python, 深度学习模型, 糖尿病数据, 网格搜索算法

在本教程中，我们将讨论一种非常强大的优化（或自动化）算法，即网格搜索算法。

在R语言中使用航空公司复杂网络对疫情进行建模

By tecdat5月 7, 2020大数据部落, 数理统计, 计算机科学与技术, 软件工程R语言, 复杂网络

我们决定使用航空公司的航班数据探讨这个问题。

matlab中使用VMD(变分模态分解)

By tecdat5月 6, 2020信息与通信工程, 大数据部落, 机械工程及自动化, 电子科学与技术, 电气工程及自动化matlab, VMD, 信号, 变分模态分解, 固有模态函数, 模态

拨号音信号的变模分解，首先创建一个以4 kHz采样的信号

R语言ggmap空间可视化机动车碰撞–街道地图热力图

By tecdat5月 5, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落ggmap, R语言, 热力图, 空间可视化

R语言ggmap空间可视化机动车碰撞–街道地图热力图

R语言ggmap空间可视化机动车交通事故地图

By tecdat5月 3, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落ggmap, R语言, 地图, 空间可视化

R语言ggmap空间可视化机动车交通事故地图

采用SPSS Modeler的Web复杂网络对所有腧穴进行关联规则分析

By tecdat5月 2, 2020医药生物, 大数据部落, 数理统计, 计算机科学与技术spss modeler, Web, 关联, 关联规则, 复杂网络, 腧穴

本次腧穴配伍关联规则分析，以针灸治疗FC的113例处方中使用频次在5次及以上的25种腧穴为关联对象。

疫情下的新闻数据观察

By tecdat5月 1, 2020可视化和设计, 大数据部落, 数理统计, 机器学习, 计算机科学与技术nlp, 情感分析, 文本挖掘, 新闻数据, 疫情, 自然语言处理, 观察

新冠肺炎的爆发让今年的春节与往常不同。与此同时，新闻记录下了这场疫情发展的时间轴。

基于matlab的Lorenz系统仿真可视化

By tecdat5月 1, 2020信息与通信工程, 大数据部落, 控制科学与工程, 数理统计, 机械工程及自动化, 电子科学与技术, 电气工程及自动化, 计算机科学与技术Lorenz, matlab, 仿真, 可视化

我们使用MATLAB解决以下Lorenz初始值问题

使用R语言对进行地理空间数据可视化

By tecdat4月 28, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落R语言, 可视化, 地理, 空间数据

最近我们一直在探索空间数据。事实证明，有一些很棒的R包可用于可视化此类数据。

R语言中基于混合数据抽样(MIDAS)回归的HAR-RV模型预测GDP增长

By tecdat4月 27, 2020R语言辅导, 大数据部落, 技术支持, 数理统计, 期刊论文发表投稿, 经济, 计算机科学CS辅导, 计算机科学与技术GDP, HAR-RV, MIDAS, R语言, 混合数据抽样, 预测

我们进行了MIDAS回归分析，以预测季度GDP增长以及每月非农就业人数的增长。

【视频讲解】R语言马尔可夫区制转移模型Markov regime switching

By tecdat4月 25, 2020大数据部落, 数理统计, 机器学习, 特色视频, 经济, 计算机科学与技术, 软件工程, 金融Markov, Markov regime switching, R语言, 区制转移, 区制转移模型, 隐马尔可夫模型, 马尔可夫, 马尔可夫体制转换模型, 马尔可夫区制转移, 马尔可夫机制转换模型, 马尔科夫机制转换模型

本文简要介绍了一种简单的状态切换模型，该模型构成了隐马尔可夫模型（HMM）的特例。

Python中的ARIMA模型、SARIMA模型和SARIMAX模型对时间序列预测

By tecdat4月 23, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 软件工程arima, ARIMAX, SARIMA, SARIMAX, 时间序列, 预测

使用ARIMA模型，您可以使用序列过去的值预测时间序列。

python3用ARIMA模型进行时间序列预测

By tecdat4月 22, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 软件工程arima, python3, 时间序列, 模型, 预测

ARIMA模型是一种流行的且广泛使用的用于时间序列预测的统计方法。

R语言马尔可夫转换模型研究交通伤亡人数事故预测

By tecdat4月 21, 2020地理，运输，旅行和物流, 大数据部落, 数理统计, 机器学习, 计算机科学与技术, 软件工程R语言, 预测, 马尔可夫转换模型

本文描述了R语言中马尔克夫转换模型的分析过程。首先，对模拟数据集进行详细建模。接下来，将马尔可夫转换模型拟合到具有离散响应变量的真实数据集。用于验证对这些数据集建模的不同方法。

Category Archives: 大数据部落

关注有关新文章的微信公众号