Author Archives: tecdat

R语言关联挖掘实例（购物篮分析）

By tecdat九月 23, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术R语言, 关联挖掘, 购物篮, 购物篮分析

关联挖掘通常用于通过识别经常一起购买的产品来提出产品推荐。但是，如果您不小心，则规则在某些情况下可能会产生误导性的结果。

R语言风险价值VaR（Value at Risk）和损失期望值ES（Expected shortfall）的估计

By tecdat九月 17, 2020大数据部落, 数理统计, 经济, 金融ES, Expected shortfall, Value at Risk, VaR, 估计, 损失期望值, 风险价值

风险价值VaR和损失期望值ES是常见的风险度量。

TensorFlow 2.0 keras开发深度学习模型实例：多层感知器（MLP），卷积神经网络（CNN）和递归神经网络（RNN）

By tecdat九月 16, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术CNN, Keras, MLP, RNN, TensorFlow, 多层感知器, 模型, 深度学习

在本文中，您将发现如何使用标准深度学习模型（包括多层感知器（MLP），卷积神经网络（CNN）和递归神经网络（RNN））开发，评估和做出预测。

Python安装TensorFlow 2、tf.keras和深度学习模型的定义

By tecdat九月 15, 2020大数据部落, 技术支持, 数理统计, 机器学习, 计算机科学与技术Keras, python, TensorFlow, 模型, 深度学习

深度学习的预测建模是现代开发人员需要了解的一项技能。

TensorFlow 2建立神经网络分类模型——以iris数据为例

By tecdat九月 14, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Iris, TensorFlow, 分类, 模型, 神经网络

隐藏层和神经元的理想数量取决于问题和数据集。与机器学习的多个方面一样，选择最佳的神经网络形状需要一定的知识水平和实验基础。一般来说，增加隐藏层和神经元的数量通常会产生更强大的模型，而这需要更多数据才能有效地进行训练。

Matlab建立逻辑回归，决策树，SVM，KNN和朴素贝叶斯模型分类绘制ROC曲线

By tecdat九月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术knn, matlab, ROC, svm, 决策树, 分类, 回归, 朴素贝叶斯, 逻辑回归

尽管对于较高的阈值，SVM可以产生更好的ROC值，但逻辑回归通常更擅长区分不同类别。朴素贝叶斯的ROC曲线通常低于其他两个ROC曲线，这表明样本内性能比其他两个分类器方法差。

R语言POT超阈值模型在洪水频率分析中的应用研究

By tecdat九月 7, 2020地理，运输，旅行和物流, 大数据部落, 数理统计POT, R语言, 巨灾, 巨灾风险, 超阈值模型, 频率, 风险

结合POT模型的洪水风险评估能够从有限的实测资料中获取更多的洪水风险信息。

R语言使用bootstrap和增量法计算广义线性模型（GLM）预测置信区间

By tecdat九月 3, 2020大数据部落, 数理统计, 计算机科学与技术bootstrap, glm, R语言, 增量法, 广义线性模型, 置信区间

增量法使我们具有（渐近）正态性，因此一旦有了标准偏差，便可以得到置信区间。

游记数据感知旅游目的地形象

By tecdat九月 2, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落, 数理统计, 机器学习, 计算机科学与技术LDA, nlp, 主题模型, 情感分析, 数据, 文本, 文本挖掘, 旅游, 游记, 驴友

越来越多的人愿意精神消费。旅游不仅可以提升人们对外地环境和外地人文的认知，也可以放松身心、愉悦心情，是一种受欢迎的精神消费。

R语言作图不显示中文解决办法，如何使用中文字体

By tecdat九月 1, 2020大数据部落, 技术支持, 计算机科学与技术R语言, 不显示中文, 中文, 作图

R语言绘图中的中文默认字体宋体，希望用其他字体绘图，保存成PDF格式不能识别中文。

Rapidminer关联规则和文本挖掘模型对评论数据进行分析

By tecdat八月 26, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 关联规则, 文本, 文本挖掘, 模型

关联规则是if / then语句，可帮助发现看似无关的数据之间的关系。关联规则的一个示例是“如果客户购买鸡蛋，那么他有80％的可能性也购买牛奶”。

使用markdown，knitr和pandoc在R语言中编写可重现的报告

By tecdat八月 25, 2020大数据部落, 技术支持, 计算机科学与技术, 软件工程markdown, pandoc, R语言, 报告

在本指南中，我们想向您展示如何使用现在提供的一些奇妙，免费的工具和软件包编写美观，可重复的报告。这些工具将帮助您交流科学知识，并希望您再也不会复制和粘贴R输出。

广义线性模型(GLMs)算法和零膨胀模型分析

By tecdat八月 24, 2020大数据部落, 数理统计, 计算机科学与技术广义线性模型, 模型, 算法, 线性, 零膨胀模型

广义线性模型（GLM）是通过连接函数,把自变量线性组合和因变量的概率分布连起来

R语言中广义线性模型(GLM)中的分布和连接函数分析

By tecdat八月 21, 2020大数据部落, 数理统计, 机器学习glm, R语言, 分布, 广义线性模型, 线性, 连接函数

通常，GLM的连接函数可能比分布更重要。

R语言自适应平滑样条回归分析

By tecdat八月 19, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 平滑样条回归, 样条

一种类型的平滑称为样条平滑。柔性金属（通常是铅），可以用作绘制平滑曲线的参考。将选择一组点（称为结），然后将样条线压在特定的x，y点，然后弯曲以通过下一个点，依此类推。

R语言区间数据回归分析

By tecdat八月 19, 2020大数据部落, 数理统计R语言, 区间, 回归

回归分析是一种十分常见的数据分析方法,通过观测数据确定变量间的相互关系。传统回归分析以点数据为研究对象,预测结果也是点数据,而真实数据往往在一定范围内变动的。

R语言ggsurvplot绘制生存曲线报错 : object of type ‘symbol‘ is not subsettable

By tecdat八月 17, 2020大数据部落, 技术支持, 数理统计ggsurvplot, R语言, 报错, 生存曲线

预期绘制生存曲线图实际 object of type ‘symbol‘ is not subse

R语言使用蒙特卡洛模拟进行正态性检验及可视化

By tecdat八月 14, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 可视化, 模拟, 正态, 蒙特卡洛

如何使用蒙特卡洛模拟来推导随机变量可能的分布，我们回到统计数据（无协变量）进行说明。

R软件SIR模型网络结构扩散过程模拟

By tecdat八月 13, 2020大数据部落, 数理统计, 计算机科学与技术R, R语言, R软件, SIR模型, 模型, 模拟, 网络

与普通的扩散研究不同，网络扩散开始考虑网络结构对于扩散过程的影响。这里介绍一个使用R模拟网络扩散的例子。

使用线性模型、回归决策树自动组合特征因子水平

By tecdat八月 12, 2020大数据部落, 数理统计, 计算机科学与技术决策树, 特征, 线性

每次我们在应用计量经济学课程中遇到实际应用时，我们都要处理类别变量。

在RapidMiner中建立决策树模型

By tecdat八月 11, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 决策树

本教程的目的是介绍如何在RapidMiner中创建基本决策树。

用Rapidminer做文本挖掘的应用：情感分析

By tecdat八月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术Rapidminer, 情感, 情感分析, 文本挖掘

情感分析或观点挖掘是文本分析的一种应用，用于识别和提取源数据中的主观信息。

R语言缺失值的处理：线性回归模型插补

By tecdat八月 6, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 插补, 线性, 线性回归模型, 缺失值

在当我们缺少值时，系统会告诉我用-1代替，然后添加一个指示符，该变量等于-1。这样就可以不删除变量或观测值。

如何解决线性混合模型中畸形拟合(Singular fit)的问题

By tecdat八月 5, 2020大数据部落, 技术支持, 数理统计, 计算机科学与技术Singular fit, 畸形拟合, 线性, 线性混合模型

当获得奇异拟合时，这通常表明模型过度拟合-也就是说，随机效应结构太复杂而无法由数据支持，这自然导致建议删除随机效应中最复杂的部分结构（通常是随机斜率）。这种方法的好处在于，它生成了一个更加简约的模型，但并没有过度拟合

数据类岗位需求的数据面

By tecdat八月 2, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术岗位, 数据, 数据分析

大数据背景下各种数据相关的岗位变得炙手可热，长期处于供不应求的状态。近年来随着人工智能的发展，数据分析岗也越发火热。

R语言Markowitz马克维茨投资组合理论分析和可视化

By tecdat七月 25, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 可视化, 马克维茨

至少在统计学的角度上，要评估一个投资组合是否最优是很困难的。

在UBUNTU虚拟机上安装R软件包

By tecdat七月 24, 2020大数据部落, 技术支持R软件, UBUNTU, 安装, 虚拟机, 软件包

使用Ubuntu 虚拟机。安装某些软件包时可能会出现一些问题。一个窍门是打开终端

R语言逻辑回归和泊松回归模型对发生交通事故概率建模

By tecdat七月 21, 2020保险, 数理统计, 经济, 计算机科学与技术R语言, 交通事故, 保险, 回归, 泊松, 逻辑回归

我们已经看到了如何考虑风险敞口，计算包含风险敞口的多个数量（经验均值和经验方差）的非参数估计量。让我们看看如果要对二项式变量建模。

非参数模型厘定保险费率：局部回归、广义相加模型GAM、样条回归

By tecdat七月 16, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术保险, 回归, 非参数

公司必须使用细分技术才能生存。现在，问题在于，我们不能确定指数衰减是溢价随年龄变化的正确方法。一种替代方法是使用非参数技术来可视化年龄对索赔频率的真实影响。

小数定律的保险业应用：泊松分布模拟索赔次数

By tecdat七月 13, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融保险, 小数定律, 模拟, 泊松, 索赔

在保险业中，由于分散投资，通常会在合法的大型投资组合中提及大数定律。在一定时期内，损失“可预测”。

R语言中自编基尼系数的CART回归决策树的实现

By tecdat七月 10, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术CART, CART回归决策树, R语言, 决策树, 回归, 基尼系数

这里的想法是使距离最大化：想法是区分，所以我们希望样本尽可能不独立。要计算基尼系数。

sas神经网络：构建人工神经网络模型来识别垃圾邮件

By tecdat七月 8, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术SAS, 人工神经网络, 垃圾邮件, 神经网络

神经网络是一种非常通用的灵活预测模型，可用于解决各种问题，包括分类，降维和回归。

R语言多分类logistic逻辑回归模型在混合分布模拟单个风险损失值评估的应用

By tecdat七月 7, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术Logistic, R语言, 单个风险损失值, 回归, 多分类logistic逻辑回归, 混合分布, 逻辑回归

通常，我们在回归模型中一直说的一句话是“ 请查看一下数据 ”。

图像倾斜校正算法的MATLAB实现：图像倾斜角检测及校正

By tecdat七月 6, 2020信息与通信工程, 图像处理, 大数据部落, 控制科学与工程, 数理统计, 机械工程及自动化, 电子科学与技术, 计算机科学与技术matlab, 图像, 图像倾斜校正, 图像倾斜角, 校正

随着多媒体技术的不断发展，数码相机，高清拍照手机等多媒体设备己经在人们的生活中占据了越来越重要的地位。

R语言时间序列数据指数平滑法分析交互式动态可视化

By tecdat七月 4, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术R语言, 交互式, 动态, 可视化, 指数平滑法, 数据, 时间序列

R语言提供了丰富的功能，可用于绘制R中的时间序列数据。

广义线性模型索赔频率预测：过度分散、风险暴露数和树状图可视化

By tecdat七月 3, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 可视化, 广义线性模型, 树状图, 过度分散, 风险暴露

在精算科学和保险费率制定中，考虑到风险敞口可能是一场噩梦。不知何故，简单的结果是因为计算起来更加复杂，只是因为我们必须考虑到暴露是一个异构变量这一事实。

数据度量消费贷款—消费者的考虑因素

By tecdat七月 1, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术数据, 消费者, 消费贷款

我们生活在互联网时代，越来越多的人选择在网上贷款消费，投资理财早已成为一门学问，一些有头脑的人通过小额的贷款让钱生钱也成为了一种可能，贷款消费的公司越来越多。

R语言通过伽玛与对数正态分布假设下的广义线性模型对大额索赔进行评估预测

By tecdat七月 1, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术R语言, 对数正态分布, 广义线性模型, 线性模型, 预测

我们已经很自然地认为，不仅可以用一些协变量来解释单个索赔的频率，而且可以用单个成本来解释。

R语言精算学：使用链梯法Chain Ladder和泊松定律模拟和预测未来赔款数据

By tecdat六月 24, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融Chain Ladder, R语言, 保险, 泊松, 精算学, 赔款, 链梯法

使用Chain Ladder方法完成流量三角形，即计算我们认为未来几年将支付的平均金额

R语言中回归模型预测的不同类型置信区间应用比较分析

By tecdat六月 22, 2020大数据部落, 数理统计, 计算机科学与技术R语言, 回归, 线性, 置信区间

当我们要为预测提供一个置信区间时，建议您为预测器确定置信区间参数的估计和潜在值的置信区间。

R语言中的广义线性模型（GLM）和广义相加模型（GAM）：多元（平滑）回归分析保险资金投资组合信用风险敞口

By tecdat六月 18, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融GAM, glm, R语言, 保险, 信用风险敞口, 回归, 投资组合, 线性模型

在之前的课堂上，我们已经看到了如何可视化多元回归模型（带有两个连续的解释变量）。

R语言对巨灾风险下的再保险合同定价研究案例：广义线性模型和帕累托分布Pareto distributions分析

By tecdat六月 15, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术Pareto distributions, R语言, 保险, 再保险合同定价, 巨灾风险, 帕累托分布, 广义线性模型, 线性模型

本文为非人寿保险课程的一部分，该示例对1900 -2005年间的“ 美国标准化飓风损失 ”数据集进行研究（2008）。我们使用了广义线性模型和帕累托分布Pareto distributions分析。

R语言中GLM(广义线性模型)，非线性和异方差可视化分析

By tecdat六月 12, 2020保险, 可视化和设计, 大数据部落, 数理统计, 经济, 计算机科学与技术glm, R语言, 可视化, 回归, 广义线性模型, 异方差, 线性模型, 非线性

上周在非人寿保险课程中，我们了解了广义线性模型的理论

如何用R语言绘制生成正态分布图表

By tecdat六月 10, 2020可视化和设计, 大数据部落, 数理统计, 计算机科学与技术R语言, 图表, 正态分布

在概率课程中经常会看到标准的正态分布表。

R语言蒙特卡洛计算和快速傅立叶变换计算矩生成函数

By tecdat六月 7, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 傅立叶变换, 矩生成函数, 蒙特卡洛

对精算科学来说，当我们处理独立随机变量的总和时，特征函数很有趣，因为总和的特征函数是特征函数的乘积。

探析大数据期刊文章研究热点

By tecdat六月 3, 2020信息管理与信息系统, 可视化和设计, 大数据部落, 数理统计, 机器学习, 计算机科学与技术主题建模, 数据, 文本挖掘, 期刊, 期刊文章, 概率潜在语义分析, 研究, 语义分析

大数据已经成为变革和创新的技术力量和思维方式，成为当前研究的热门领域。

R语言预测人口死亡率：用李·卡特模型、非线性模型进行平滑估计

By tecdat六月 2, 2020大数据部落, 数理统计, 经济, 计算机科学与技术R语言, 人口死亡率, 平滑估计, 李·卡特模型, 模型, 非线性模型, 预测

今天早上，我和同事一起分析死亡率。我们在研究人口数据集，可以观察到很多波动性。

R语言再保险合同定价案例研究

By tecdat五月 28, 2020保险, 大数据部落, 数理统计, 经济, 金融R语言, 保险, 再保险, 定价

拥有参数模型变得有趣，该模型应该比经验平均值更健壮。

R语言对混合分布中的不可观测与可观测异质性因子分析

By tecdat五月 25, 2020保险, 大数据部落, 数理统计, 经济, 计算机科学与技术R语言, 异质性因子, 混合分布

今天上午，在课程中，我们讨论了利率制定中可观察和不可观察异质性之间的区别（从经济角度出发）。

R语言泊松回归对保险定价建模中的应用：风险敞口作为可能的解释变量

By tecdat五月 22, 2020保险, 大数据部落, 数理统计, 经济, 金融R语言, 保险, 保险定价, 回归, 建模, 模型, 泊松回归

在保险定价中，风险敞口通常用作模型索赔频率的补偿变量。

R语言模拟人类生活预期寿命动态可视化动画图gif

By tecdat五月 21, 2020可视化和设计, 大数据部落, 数理统计R语言, 动态可视化, 可视化, 模拟

这周，我在http://waitbutwhy.com/上发现了一张图片，它代表了典型的人类生活

R语言随机森林模型中具有相关特征的变量重要性

By tecdat五月 20, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术, 软件工程R语言, 变量重要性, 模型, 特征, 随机森林

变量重要性图是查看模型中哪些变量有趣的好工具。

R语言分析负利率下金融市场：负利率和年金价值的变化

By tecdat五月 19, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融R语言, 价值, 利率, 年金, 金融

从动态的角度看,负利率效应也可以被描述为银行利率变化的速度小于价格指数变化的速度,这是一种违反经济规律的特殊状态。

R语言模拟保险模型中分类器的ROC曲线不良表现

By tecdat五月 18, 2020大数据部落, 数理统计, 经济, 计算机科学与技术, 金融ROC, R语言, 保险模型, 分类, 模拟

在课程中进行案例研究（使用真实数据）时，学生都会惊讶地发现很难获得“好”模型

r语言空间可视化绘制道路交通安全事故地图

By tecdat五月 14, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落R语言, 地图, 空间可视化

当我们要可视化事故数量时，其想法是根据部门的人员进行标准化。

R语言空间可视化：绘制英国脱欧投票地图

By tecdat五月 13, 2020地理，运输，旅行和物流, 大数据部落可视化, 地图, 空间可视化

本文我们绘制英国脱欧投票的地图。第一步是绘制底图本文我们绘制英国脱欧投票的地图。第一步是绘制底图。第一步是绘

使用OpenCV在Python中进行图像处理

By tecdat五月 12, 2020信息与通信工程, 图像处理, 大数据部落, 机械工程及自动化, 电子科学与技术, 计算机科学与技术, 软件工程OpenCV, python, 图像处理

在本教程中，我们将学习如何使用Python语言执行图像处理。我们不会局限于单个库或框架；但是，我们将最常使用

R语言对布丰投针（蒲丰投针）实验进行模拟和动态可视化生成GIF动画

By tecdat五月 11, 2020大数据部落, 数理统计GIF动画, R语言, 动态可视化, 动画, 可视化, 布丰投针, 模拟, 蒲丰投针

布丰投针是几何概率领域中最古老的问题之一。它最早是在1777年提出的。

SPSS中的等级线性模型Multilevel linear models研究整容手术数据

By tecdat五月 9, 2020大数据部落, 数理统计, 计算机科学与技术Multilevel linear models, SPSS, 等级线性模型

我们将使用整容手术数据说明两种中心化类型，并对其进行等级线性模型分析。

Python中基于网格搜索算法优化的深度学习模型分析糖尿病数据

By tecdat五月 8, 2020大数据部落, 数理统计, 机器学习, 计算机科学与技术, 软件工程python, 深度学习模型, 糖尿病数据, 网格搜索算法

在本教程中，我们将讨论一种非常强大的优化（或自动化）算法，即网格搜索算法。

在R语言中使用航空公司复杂网络对疫情进行建模

By tecdat五月 7, 2020大数据部落, 数理统计, 计算机科学与技术, 软件工程R语言, 复杂网络

我们决定使用航空公司的航班数据探讨这个问题。

matlab中使用VMD(变分模态分解)

By tecdat五月 6, 2020信息与通信工程, 大数据部落, 机械工程及自动化, 电子科学与技术, 电气工程及自动化matlab, VMD, 信号, 变分模态分解

拨号音信号的变模分解，首先创建一个以4 kHz采样的信号

R语言ggmap空间可视化机动车碰撞–街道地图热力图

By tecdat五月 5, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落ggmap, R语言, 热力图, 空间可视化

R语言ggmap空间可视化机动车碰撞–街道地图热力图

R语言ggmap空间可视化机动车交通事故地图

By tecdat五月 3, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落ggmap, R语言, 地图, 空间可视化

R语言ggmap空间可视化机动车交通事故地图

采用SPSS Modeler的Web复杂网络对所有腧穴进行分析

By tecdat五月 2, 2020医药, 大数据部落, 数理统计, 计算机科学与技术spss modeler, Web, 复杂网络, 腧穴

采用SPSS Modeler的Web复杂网络对所有腧穴进行分析

疫情下的新闻数据观察

By tecdat五月 1, 2020可视化和设计, 大数据部落, 机器学习, 计算机科学与技术新闻数据, 疫情, 观察

新冠肺炎的爆发让今年的春节与往常不同。与此同时，新闻记录下了这场疫情发展的时间轴。

基于matlab的Lorenz系统仿真可视化

By tecdat五月 1, 2020信息与通信工程, 大数据部落, 控制科学与工程, 数理统计, 机械工程及自动化, 电子科学与技术, 电气工程及自动化, 计算机科学与技术Lorenz, matlab, 仿真, 可视化

基于matlab的Lorenz系统仿真可视化

使用R语言对进行空间数据可视化

By tecdat四月 28, 2020可视化和设计, 地理，运输，旅行和物流, 大数据部落R语言, 可视化, 空间数据

使用R语言对进行事件空间数据可视化