python深度学习实现自编码器Autoencoder神经网络异常检测心电图ECG时间序列

通过训练具有小型中心层的多层神经网络重构高维输入向量,可以将高维数据转换为低维代码。

最近我们被客户要求撰写关于神经网络的研究报告。这种神经网络被命名为自编码器_Autoencoder_。

由Kaizong Ye,Liao Bao撰写

自编码器是_非线性_降_维_ 技术用于特征的无监督学习,它们可以学习比主成分分析效果更好的低维代码,作为降低数据维数的工具。

异常心跳检测

如果提供了足够的类似于某种底层模式的训练数据,我们可以训练网络来学习数据中的模式。

异常测试点是与典型数据模式不匹配的点。自编码器在重建这些数据时可能会有很高的错误率,这表明存在异常。

该框架用于使用深度自编码器开发异常检测演示。该数据集是心跳的 ECG 时间序列,目标是确定哪些心跳是异常值。训练数据(20 个“好”心跳)和测试数据(为简单起见附加了 3 个“坏”心跳的训练数据),如下所示。每行代表一个心跳。

init()
PATH = os.path.expanduser("~/")
import_file(PATH + "train.csv")
import_file(PATH + "test.csv")

探索数据集

tra.shape


自适应网页宽度的 Youku 视频

视频

CNN(卷积神经网络)模型以及R语言实现

探索见解

去bilibili观看

探索更多视频

# 将框架转置,将时间序列作为一个单独的列来绘制。
plot(legend=False); # 不显示图例

在训练数据中,我们有 20 个时间序列,每个序列有 210 个数据点。请注意,所有线条都很紧凑并且形状相似。重要的是要记住,在使用自编码器进行训练时,您只想使用 VALID 数据。应删除所有异常。

现在让我们训练我们的神经网络

Estimator( 
        activation="Tanh", 
        hidden=\[50\], 
       
)

model.train

matlab使用分位数随机森林(QRF)回归树检测异常值

阅读文章


  

model


随时关注您喜欢的主题


我们的神经网络现在能够对 时间序列进行 _编码_。

异常检测

现在我们尝试使用异常检测功能计算重建误差。这是输出层和输入层之间的均方误差。低误差意味着神经网络能够很好地对输入进行编码,这意味着是“已知”情况。高误差意味着神经网络以前没有见过该示例,因此是异常情况。

anomaly(test )

现在的问题是:哪个 test 时间序列最有可能是异常?

我们可以选择错误率最高的前 N 个

df\['Rank'\] = df\['MSE'\].rank

sorted

dfsorted\[MSE'\] > 1.0
datT.plot
daT\[anindex\].plot(color='red');

带监督微调的无监督预训练

有时,未标记的数据比标记的数据多得多。

在这种情况下,在未标记数据上训练自编码器模型,然后使用可用标签微调学习模型是有意义的。

结论

在本教程中,您学习了如何使用自编码器快速检测时间序列异常。


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds