tsmoothie: 高效的时间序列平滑和异常检测Python库

Ray

tsmoothie简介

tsmoothie是一个强大的Python库,专门用于时间序列数据的平滑处理和异常检测。它采用向量化的方式,能够高效地处理单个或多个时间序列数据。这个库由Marco Cerliani开发,旨在为数据科学家和分析师提供一套全面的工具,以简化时间序列分析的过程。

主要特性

多样化的平滑技术

tsmoothie提供了丰富的平滑技术选择:

指数平滑
卷积平滑(支持多种窗口类型)
基于傅里叶变换的谱平滑
多项式平滑
样条平滑(线性、三次、自然三次)
高斯平滑
分箱平滑
LOWESS平滑
季节性分解平滑
可自定义组件的卡尔曼平滑

这些技术使用户能够根据具体的数据特征和分析需求选择最合适的平滑方法。

间隔计算功能

tsmoothie不仅提供平滑处理,还能计算平滑结果的置信区间:

sigma区间
置信区间
预测区间
卡尔曼区间

这些区间计算对于识别时间序列中的异常值和异常模式非常有用。

滑动平滑和在线处理

tsmoothie支持滑动平滑方法,可以模拟在线处理场景。它通过将时间序列分割成等大小的片段并独立平滑来实现。这个功能通过WindowWrapper类以向量化的方式实现,保证了处理效率。

时间序列自助法

tsmoothie提供了BootstrappingWrapper类来执行时间序列自助法。支持的自助算法包括:

非重叠块自助法
移动块自助法
循环块自助法
平稳自助法

这些自助法算法可以用于评估模型的不确定性和生成预测区间。

安装和依赖

安装tsmoothie非常简单,只需要通过pip执行以下命令:

pip install --upgrade tsmoothie

tsmoothie的依赖项非常精简,只需要NumPy、SciPy和simdkalman。该库支持Python 3.6及以上版本。

使用示例

下面通过两个简单的例子来展示tsmoothie的基本用法:

随机游走平滑

import numpy as np
import matplotlib.pyplot as plt
from tsmoothie.utils_func import sim_randomwalk
from tsmoothie.smoother import LowessSmoother

# 生成3个长度为200的随机游走序列
np.random.seed(123)
data = sim_randomwalk(n_series=3, timesteps=200, 
                      process_noise=10, measure_noise=30)

# 执行平滑
smoother = LowessSmoother(smooth_fraction=0.1, iterations=1)
smoother.smooth(data)

# 生成区间
low, up = smoother.get_intervals('prediction_interval')

# 绘制平滑后的时间序列及区间
plt.figure(figsize=(18,5))

for i in range(3):
    plt.subplot(1,3,i+1)
    plt.plot(smoother.smooth_data[i], linewidth=3, color='blue')
    plt.plot(smoother.data[i], '.k')
    plt.title(f"timeseries {i+1}")
    plt.xlabel('time')
    plt.fill_between(range(len(smoother.data[i])), low[i], up[i], alpha=0.3)

随机游走平滑

周期性数据平滑

import numpy as np
import matplotlib.pyplot as plt
from tsmoothie.utils_func import sim_seasonal_data
from tsmoothie.smoother import DecomposeSmoother

# 生成3个长度为300的周期性时间序列
np.random.seed(123)
data = sim_seasonal_data(n_series=3, timesteps=300, 
                         freq=24, measure_noise=30)

# 执行平滑
smoother = DecomposeSmoother(smooth_type='lowess', periods=24,
                             smooth_fraction=0.3)
smoother.smooth(data)

# 生成区间
low, up = smoother.get_intervals('sigma_interval')

# 绘制平滑后的时间序列及区间
plt.figure(figsize=(18,5))

for i in range(3):
    plt.subplot(1,3,i+1)
    plt.plot(smoother.smooth_data[i], linewidth=3, color='blue')
    plt.plot(smoother.data[i], '.k')
    plt.title(f"timeseries {i+1}")
    plt.xlabel('time')
    plt.fill_between(range(len(smoother.data[i])), low[i], up[i], alpha=0.3)

周期性数据平滑