matlab使用hampel滤波去除异常值

最近我们被客户要求撰写关于检测异常值的研究报告,包括一些图形和统计输出。

由Kaizong Ye,Liao Bao撰写

此示例显示了Hampel用于检测和删除异常值的过程的实现产生一个包含24个样本的随机信号x。 重置随机数生成器以获得可重复的结果。

rng default

lx = 24;
x = randn(1,lx);

围绕x的每个元素生成观察窗口。 在样本的任一边取k = 2个邻居。 产生的移动窗口的长度为2×2 + 1 = 5个样本。

k = 2;

iLo = (1:lx)-k;
iHi = (1:lx)+k;

截断窗口,以便函数在到达信号边缘时计算较小段的中值。

iLo(iLo<1) = 1;
iHi(iHi>lx) = lx;


视频

检测异常值的4种方法和R语言时间序列分解异常检测

探索见解

去bilibili观看

探索更多视频

记录每个周围窗口的中位数。 找到每个元素相对于窗口中位数的绝对偏差的中位数。

for j = 1:lx
    w = x(iLo(j):iHi(j));
    medj = median(w);
    mmed(j) = medj;
    mmad(j) = median(abs(w-medj));
end

缩放中位数绝对偏差

以获得正态分布标准偏差的估计值。

sd = mmad/(erfinv(1/2)*sqrt(2));

查找与中位数相差超过nd = 2个标准偏差的样本。 将这些离群值替换为其周围窗口的中间值。 这是Hampel算法的本质。

 
yu = x;
yu(ki) = mmed(ki);

使用hampel 计算滤波后的信号并注释异常值。 覆盖在此示例中计算的过滤值。

 plot(yu,'o','HandleVisibility','off')
 


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds