支持向量回归

支持向量回归(SVR)是支持向量机(SVM)处理回归问题的一种模型。正常情况下，传统的回归模型是根据模型的输出值与真实值之间的离差来计算损失的，只有输出值与真实值完全相同，损失才为0。而支持向量回归不同，我们能够允许的输出值与真实值之间有s，于是以E为中心，构造了一个宽度为2s的间隔带，样本点落入间隔带，则认为预测是正确的。

模型建立

A建模的思路

建立支持尚量回归模型实质上是核函数的选择和参数优化的过程，本文是根据大汾水流域一个站点的水位数据，利用其历史资料来建立测试集和训练集，通过选择核函数和参数调优来建立模型，用均方差和相关系数作为评价指标，通过评价指标来判断模型是否为最优模型，利用最终筛选得到的最优模型对已准备好的测试集进行测试，以此来评价最终模型的预测效果。

B构造样本

本文以75%的样本数据作为训练集，其余的样本做为测试集。按照R软件包e1071对数据的要求来构建样本数据，文件类型为*.cSv。

样本

样本数据对比

选择核函数

根据表我们可知，sigmoid的均方差相较于其他两种核函数建立的模型较大,而相关系数却较小，这就表明相关性不明显，所l以sigmoid核函数不合适。同时，多项式核函数建立的模型虽然均方差较小,但其相关系数和sigmoid核函数相差不大，表现出的相关性不强烈。所以多项式核函数也不能选用。径向基核函数的均方差和相关系数都表现出很好的性能，综合上述考虑，我们选用高斯核函数来构建大汾水流域的水位预报回归模型。

参数选优

根据表可以看出，根据支持向量个数，惩罚函数C和损失函数e，我们将不同参数模型进行对比，不难发现当C=1,=0.1时，模型的效果最好，此时模型是根据1006个支持向量进行建立，具有较高的代表性，并且对训练集以及测试集都表现出良好的泛化能力，相关系数都大于0.995，均方差都小于0.0001。并且回报效果和预测效果比较接近，这说明了该模型具有较好的稳定性。

模型效果

在上述小节中我们通过选择核函数与参数优选建立了相应的水位模型，之后我们需要检验模型的预测效果，衡量模型的可靠性，判断其是否能够应用于实践。

本文使用的是2020年1月至2月的大汾水流域水位数据，于是我们利用后面十天以及一个月的数据来于模型预测值进行比较，来检验模型效果。

本文利用R语言的独立成分分析（ICA）、谱聚类（CS）和支持向量回归 SVR 模型帮助客户对商店销量进行预测。首先，分别对商店销量的历史数据进行了独立成分分析，得到了多个独立成分。其次，利用谱聚类方法将商店销量划分成了若干类，并将每个类的特征进行了提取最后，利用 SVR模型对所有的商店销量进行预测。实验结果表明，利用 FastICA、 CS和 SVR模型能够准确预测商店销量。

read.csv("train_final.csv")
head(data)

谱聚类

谱聚类（spectral cluster），这里的谱指的是某个矩阵的特征值，该矩阵是什么，什么得来的，以及在聚类中的作用将会在下文解一一道来。谱聚类的思想来源于图论，它把待聚类的数据集中的每一个样本看做是图中一个顶点，这些顶点连接在一起，连接的这些边上有权重，权重的大小表示这些样本之间的相似程度。同一类的顶点它们的相似程度很高，在图论中体现为同一类的顶点中连接它们的边的权重很大，不在同一类的顶点连接它们的边的权重很小。于是谱聚类的最终目标就是找到一种切割图的方法，使得切割之后的各个子图内的权重很大，子图之间的权重很小。

聚成3个类别

SVR模型

SVR是支持向量机（SVM）的重要应用分支。通过SVR算法，可以找到一个回归平面并使得一个集合中的所有数据距离该平面的距离最短。

对所有数据采用log标准化处理，然后对不同的类的训练集分别采用SVR模型训练，再用测试集得到测试结果

所需结果：

pre=SVRModel

不同类测试集所采用SVR模型的不同参数（C，ε，σ）。

预测模型

预测模型加入时间序列向前1周，2周，3周，4周时的数据作为输入变量，采用不同聚类方式所得预测结果。

向前2周

不同类测试集所采用SVR模型之后的预测结果（RMSE，MAD，MAPE，MPE）

RMSE(test,yHat)

## [1] 0.09735726

MAE(test,yHat)

## [1] 0.0655883

MAPE(test,yHat)

## [1] 0.6538239

#MPE  
  
ftsa::error(forecast =yHat, true = test, method = "mpe")

## [1] 0.467259