Python时间序列分析苹果股票数据:分解、平稳性检验、滤波器、滑动窗口平滑、移动平均、可视化

时间序列是一系列按时间顺序排列的观测数据。

 

由Kaizong Ye,Liao Bao撰写

数据序列可以是等间隔的,具有特定频率,也可以是不规则间隔的,比如电话通话记录。

在进行投资和交易研究时,对于时间序列数据及其操作要有专业的理解。本文将重点介绍如何使用Python和Pandas帮助客户进行时间序列分析来分析股票数据。

理解日期时间和时间差

在我们完全理解Python中的时间序列分析之前,了解瞬时、持续时间和时间段的差异非常重要。

类型描述例子
日期(瞬时)一年中的某一天2019年9月30日,2019年9月30日
时间(瞬时)时间上的单个点6小时,6.5分钟,6.09秒,6毫秒
日期时间(瞬时)日期和时间的组合2019年9月30日06:00:00,2019年9月30日上午6:00
持续时间两个瞬时之间的差异2天,4小时,10秒
时间段时间的分组2019第3季度,一月

Python的Datetime模块

datetime模块提供了在简单和复杂方式下进行日期和时间操作的类。

创建瞬时

日期日期时间时间都是单独的类,我们可以通过多种方式创建它们,包括直接创建和通过字符串解析。


now = datetime.datetime.today() today = datetime.date.today() print(now) print(today)

创建持续时间

timedeltas 表示时间的持续时间。它们可以与时间点相加或相减。


视频

ARIMA时间序列模型原理和R语言ARIMAX预测实现案例

探索见解

去bilibili观看

探索更多视频


自适应网页宽度的 Bilibili 视频

视频

时间序列分析模型 ARIMA-ARCH GARCH模型分析股票价格数据

探索见解

去bilibili观看

探索更多视频


past = now - alldelta print(type(future)) print(future) print(type(past)) print(past)

访问日期时间属性

类和对象属性可以帮助我们分离出我们想要看到的信息。我列出了最常见的属性,但你可以在datetime模块的文档上找到详尽的列表。

类/对象属性描述
共享类属性class.min可表示的最早日期、datetime、time
class.max可表示的最晚日期、datetime、time
class.resolution两个日期、datetimes 或 times 之间的最小差值
日期/日期时间object.year返回年份
object.month返回月份(1 – 12)
object.day返回日期(1-32)
时间/日期时间object.hour返回小时(0-23)
object.minute返回分钟(0-59)
object.second返回秒数(0-59)
pythonprint(datetime.datetime.min) print(datetime.datetime.max) print(datetime.datetime.resolution) print(datetime1.year)

在Pandas中创建时间序列

让我们获取由Intrinio开发者沙盒提供的苹果股票历史数据。

python apple_price_history = pd.read_csv(f) apple_price_history[['open', 'high', 'low', 'close', 'volume']].head()
image.png

让我们查看数据框的数据类型或

dtypes,看看是否有任何日期时间信息。

让我们将数据框的 RangeIndex 更改为 DatetimeIndex。为了好看,我们将展示如何使用 read_csv 用 DatetimeIndex 读取数据。


图片

R语言ARIMA-GARCH波动率模型预测股票市场苹果公司日收益率时间序列

阅读文章



apptime64) apple_price_history.dtypes
image.png

print(apple_price_history[['open', 'high', 'low', 'close']].head()) apple_price_history.index[0:10]
image.png


随时关注您喜欢的主题


import numpy as np
import urllib.request


                                    index_col='date',
                                    usecols=['date',
                                             'adj_open',
                                             'adj_high',
                                             'adj_low',
                                             'adj_close',
                                             'adj_volume'])
apple_price_history.columns = names

print(apple_price_history.head())
image.png

添加日期时间字符串

通常,日期的格式可能是无法解析的。我们可以使用dt.strftime将字符串转换为日期。在创建 sp500数据集 时,我们使用了strptime

sp500.loc[:,'date'].apply(lambda x: datetime.strptime(x,'%Y-%m-%d'))

时间序列选择

按日、月或年选择日期时间

现在我们可以使用索引和loc轻松选择和切片日期。


apple_price_history.loc['2018-6-1']
image.png

使用日期时间访问器

dt访问器具有多个日期时间属性和方法,可以应用于系列的日期时间元素上,这些元素在Series API文档中可以找到。

属性描述
Series.dt.date返回包含Python datetime.date对象的numpy数组(即,没有时区信息的时间戳的日期部分)。
Series.dt.time返回datetime.time的numpy数组。
Series.dt.timetz返回还包含时区信息的datetime.time的numpy数组。
Series.dt.year日期的年份。
Series.dt.month月份,其中一月为1,十二月为12。
Series.dt.day日期的天数。
Series.dt.hour时间的小时。
Series.dt.minute时间的分钟。
Series.dt.second时间的秒数。
Series.dt.microsecond时间的微秒数。
Series.dt.nanosecond时间的纳秒数。
Series.dt.week年的星期序数。
Series.dt.weekofyear年的星期序数。
Series.dt.dayofweek星期几,星期一为0,星期日为6。
Series.dt.weekday星期几,星期一为0,星期日为6。
Series.dt.dayofyear年的第几天的序数。
Series.dt.quarter季度。
Series.dt.is_month_start表示日期是否为月的第一天。
Series.dt.is_month_end表示日期是否为月的最后一天。
Series.dt.is_quarter_start表示日期是否为季度的第一天。
Series.dt.is_quarter_end表示日期是否为季度的最后一天。
Series.dt.is_year_start表示日期是否为年的第一天。
Series.dt.is_year_end表示日期是否为年的最后一天。
Series.dt.is_leap_year表示日期是否为闰年。
Series.dt.daysinmonth月份中的天数。
Series.dt.days_in_month月份中的天数。
Series.dt.tz返回时区(如果有)。
Series.dt.freq
方法描述
Series.dt.to_period(self, *args, **kwargs)将数据转换为特定频率的PeriodArray/Index。
Series.dt.to_pydatetime(self)将数据返回为本机Python datetime对象的数组。
Series.dt.tz_localize(self, *args, **kwargs)将时区非感知的Datetime Array/Index本地化为时区感知的Datetime Array/Index。
Series.dt.tz_convert(self, *args, **kwargs)将时区感知的Datetime Array/Index从一个时区转换为另一个时区。
Series.dt.normalize(self, *args, **kwargs)将时间转换为午夜。
Series.dt.strftime(self, *args, **kwargs)使用指定的日期格式转换为索引。
Series.dt.round(self, *args, **kwargs)对数据执行舍入操作,将其舍入到指定的频率。
Series.dt.floor(self, *args, **kwargs)对数据执行floor操作,将其舍入到指定的频率。
Series.dt.ceil(self, *args, **kwargs)对数据执行ceil操作,将其舍入到指定的频率。
Series.dt.month_name(self, *args, **kwargs)返回具有指定区域设置的DateTimeIndex的月份名称。
Series.dt.day_name(self, *args, **kwargs)返回具有指定区域设置的DateTimeIndex的星期几名称。

周期

print(df.dt.quarter) print(df.dt.day_name())
image.png

DatetimeIndex包括与dt访问器大部分相同的属性和方法。


apple_price_history.index.day_name()
image.png

频率选择

当时间序列是均匀间隔的时,可以在Pandas中与频率关联起来。

pandas.date_range 是一个函数,允许我们创建一系列均匀间隔的日期。

dates = pd.date_range('2019-01-01', '2019-12-31', freq='D') dates
image.png

除了指定开始或结束日期外,我们可以用一个周期来替代,并调整频率。


hours = pd.date_range('2019-01-01', periods=24, freq='H') print(hours)
image.png

pandas.DataFrame.asfreq 返回具有新频率的数据帧或序列。对于数据中缺失的时刻,将添加新行并用NaN填充,或者使用我们指定的方法填充。通常需要提供偏移别名以获得所需的时间频率。

别名

别名描述
B工作日频率
C定制的工作日频率
D日历日频率
W周频率
M月底频率
SM半月末频率(每月15日和月末)
BM工作日月末频率
CBM定制的工作日月末频率
MS月初频率
SMS半月初频率(每月1日和15日)
BMS工作日月初频率
CBMS定制的工作日月初频率
Q季末频率
BQ工作日季末频率
QS季初频率
BQS工作日季初频率
A, Y年末频率
BA, BY工作日年末频率
AS, YS年初频率
BAS, BYS工作日年初频率
BH工作小时频率
H小时频率
T, min分钟频率
S秒频率
L, ms毫秒
U, us微秒
N纳秒
print(apple_quarterly_history.head())
image.png

填充数据

pandas.Series.asfreq 允许我们提供一个填充方法来替换NaN值。

print(apple_price_history['close'].asfreq('H', method='ffill').head())
image.png

重新采样:上采样和下采样

pandas.Dataframe.resample 返回一个重新取样对象,与groupby对象非常相似,可以在其上运行各种计算。

我们经常需要降低(下采样)或增加(上采样)时间序列数据的频率。如果我们有每日或每月的销售数据,将其降采样为季度数据可能是有用的。或者,我们可能希望上采样我们的数据以匹配另一个用于进行预测的系列的频率。上采样较少见,并且需要插值。

print(apple_quarterly_history.agg({'high':'max', 'low':'min'})[:5])
image.png
现在我们可以使用我们上面发现的所有属性和方法。 print(apple_price_history.index.day_name()) Index(['Friday', 'Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Monday', 'Tuesday', 'Wednesday', 'Friday', ... 'Wednesday', 'Thursday', 'Friday', 'Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Monday', 'Tuesday'], dtype='object', name='date', length=9789) print(datetime.to_period('Q')) datetime.to_period('Q').end_time
image.png

滚动窗口平滑和移动平均

pandas.DataFrame.rolling 允许我们将数据拆分为聚合的窗口,并应用诸如均值或总和之类的函数。

在交易中的一个典型例子是使用50天和200天的移动平均线来买入和卖出资产。

让我们计算苹果公司的这些指标。请注意,在计算滚动均值之前,我们需要有50天的数据。

apple_price_history_recent[['close', 'rolling_50', 'rolling_200']].plot(title='Apple vs. 50SMA & 200SMA', figsize=(32,18))
下载 (2).png

使用Matplotlib可视化时间序列数据

Matplotlib使我们可以轻松地可视化Pandas时间序列数据。Seaborn添加了额外的选项,帮助我们使图表更加漂亮。我们导入matplotlib和seaborn来尝试几个基本的例子。

折线图

sns.lineplot 绘制标准折线图。它的工作方式类似于我们上面使用的dataframe.plot ax=ax).set_title("Apple Stock Price History") Text(0.5, 1.0, 'Apple Stock Price History')
image.png

箱线图/盒图

盒图能够帮助我们对数据进行分组和理解其分布。对于季节性数据来说往往非常有用。

python sns.set(rc={'figure.figsize':(32, 18)}) sns.boxplot(data=apple_price_recent_history, x='quarter', y='close').set_title("苹果公司季度股价历史")
image.png
image.png

在 Pandas 中分析时间序列数据

时间序列分析方法可以分为两类:

  1. 频域方法
  2. 时域方法

频域方法分析信号在频率带(如最后100个样本)上的变化程度。时域方法分析信号在指定时间段(如前100秒)内的变化程度。

时间序列趋势、季节性和周期性

时间序列数据可以分解为四个组成部分

  • 趋势
  • 季节性
  • 周期性
  • 噪声

并不是所有的时间序列都具有趋势、季节性或周期性;而且必须有足够的数据支持存在季节性、周期性或趋势。

并不是所有的时间序列必须呈现趋势或模式,它们也可能完全是随机的。

除了高频变动(如季节性和噪声)外,时间序列数据通常还会呈现渐变的变异性。通过在不同时间尺度上进行滚动平均可以很容易地可视化这些趋势。让我们导入苹果公司的销售数据以研究季节性和趋势。

趋势

趋势指的是时间序列中存在上升或下降斜率的情况。亚马逊的销售增长就是上升趋势的一个例子。此外,趋势不一定是线性的。趋势可以是确定性的,是时间的函数,也可以是随机的。

季节性

季节性指的是一年内在固定时间间隔内观察到的明显重复模式,包括峰值和低谷。苹果公司的销售在第四季度达到峰值就是亚马逊收入中的一个季节性模式的例子。

周期性

周期性指的是在不规则时间间隔内观察到的明显重复模式,如商业周期

让我们分析苹果公司的收入历史数据,看看能否进行分解。

import urllib import pandas as pd from scipy import stats + apple_revenue_history['fiscal_period'].str.upper() slope, intercept, r_value, p_value, std_err = stats.linregress(apple_revenue_history.index,

时间序列趋势图与趋势线

pythonfig = plt.figure(figsize=(32,18)) ax1 = fig.add_subplot(1,1,1) apple_revenue_history.plot(
image.png

时间序列堆叠图进行周期分析

pythonfig = plt.figure(figsize=(32,18)) ax1 = fig.add_subplot(1,1,1) lsharey=True) ax1.legend(legend)
image.png

分解时间序列数据

statsmodel可以将时间序列统计分解为其组成部分。

python apple_revenue_history.index = apple_revenue_history.index.to_timestamp(freq='Q') # 加法分解 result_add = seasonal_decompose(apple_revenue_history['value']) # 绘图 plt.rcParams.update({'figure.figsize': (32,18)})
image.png

时间序列的平稳性

时间序列与传统的分类和回归预测建模问题不同。时间序列数据是有序的,并且需要平稳性才能进行有意义的摘要统计。

平稳性是时间序列分析中许多统计过程的假设,非平稳数据经常被转化为平稳数据。

平稳性有以下几种分类:

  • 平稳过程/模型:平稳的观察序列。
  • 趋势平稳:不呈现趋势。
  • 季节平稳:不呈现季节性。
  • 严格平稳:数学定义的平稳过程。

在一个平稳的时间序列中,时间序列的均值和标准差是恒定的。此外,没有季节性、周期性或其他与时间相关的结构。通常首先查看时间序列是否平稳,以更容易理解。

python# 平稳序列 vol = .002 df1.plot(title='平稳序列')
image.png
python df2.plot(title='非平稳序列:均值不恒定')
image.png
pythonnp.logspace(1,2,num=200, dtype=int)) df3.plot(title='非平稳序列:波动性不恒定')
image.png
python df4[0] = df4[0] + df4['cyclical'] df4[0].plot(title='非平稳序列:周期性')
image.png

如何检验平稳性

我们可以通过直观地检查上述图形来测试平稳性,就像之前所做的那样;将图形分成多个部分,查看均值、方差和相关性等摘要统计数据;或者使用更高级的方法,如增广迪基-富勒检验(Augmented Dickey-Fuller test)

增广迪基-富勒测试用于测试是否存在单位根。如果时间序列有单位根,则表示存在一些时间相关结构,即时间序列不是平稳的。

统计量越负值,时间序列越有可能是平稳的。一般来说,如果 p 值 > 0.05,则数据有单位根,不是平稳的。让我们使用 statsmodel 进行检验。

pythonimport pandas as pd import numpy as np from statsmodels.tsa.stattools import adfuller print('Critial Values:') print(f' {key}, {value:.2f}')
image.png

上述示例运行后打印出的测试统计值分别为 0.00(平稳)和 0.88(非平稳)。

如何处理非平稳时间序列

如果时间序列中存在明显的趋势和季节性,可以对这些组成部分进行建模,将它们从观测值中剔除,然后在残差上训练模型。

去趋势化

有多种方法可以从时间序列中去除趋势成分。

  1. 减去最佳拟合直线
  2. 使用分解进行减法
  3. 使用滤波器进行减法

滤波器

使用 SciPy 进行最佳拟合直线

SciPy 的 detrend 函数可以通过减去最佳拟合直线来移除趋势。

python detrend = signal.detrend(df[0].values) plt.plot(detrend)
image.png

使用 StatsModels 进行分解

seasonal_decompose 函数返回一个带有季节性、趋势和残差属性的对象,我们可以从系列值中减去它们。

from statsmodels.tsa.seasonal import seasonal_decompose from dateutil.parser import parse df[0].plot(figsize=(32,18))
image.png
df[0] = df[0] - decompose.trend df[0].plot(figsize=(32,18))
image.png


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds