PyPOTS: 一个用于部分观测时间序列数据挖掘的Python工具箱

Ray

PyPOTS

PyPOTS:一个用于部分观测时间序列数据挖掘的Python工具箱

PyPOTS是一个专门用于处理部分观测时间序列(Partially-Observed Time Series, POTS)数据的Python工具箱。在现实世界中,由于各种原因如传感器故障、通信错误等,时间序列数据中经常会出现缺失值,这就形成了所谓的部分观测时间序列。PyPOTS旨在为这类数据提供一套完整的数据挖掘和分析解决方案。

PyPOTS的动机与使命

PyPOTS的创建动机源于现实世界中POTS数据的普遍性以及现有工具的不足。虽然POTS数据处理是一个重要问题,但这一领域仍然缺乏一个专门的工具包。PyPOTS正是为了填补这一空白而诞生的。

PyPOTS的使命是成为一个方便易用的工具箱,让工程师和研究人员能够专注于他们手头的核心问题,而不是纠结于如何处理数据中的缺失部分。PyPOTS将不断整合经典和最新的机器学习算法,以处理多变量部分观测时间序列。除了各种算法外,PyPOTS还提供了统一的API、详细的文档和交互式示例,以便用户轻松上手。

PyPOTS的主要功能

PyPOTS支持对含有缺失值的多变量时间序列数据进行以下几类任务:

缺失值填补(Imputation)
预测(Forecasting)
分类(Classification)
聚类(Clustering)
异常检测(Anomaly Detection)

目前,PyPOTS已经集成了多种先进的算法,包括:

基于神经网络的方法:如SAITS、Transformer、BRITS、GRU-D等
概率模型:如BTTF
简单方法:如线性插值、前向填充/后向填充等

这些算法涵盖了从2017年到2024年间发表的多篇重要论文成果。PyPOTS还在不断更新,以纳入更多最新的算法。

PyPOTS的生态系统

PyPOTS构建了一个完整的生态系统,用咖啡相关的概念来形象化描述其组成部分:

TSDB(Time Series Data Beans):提供各种公开的时间序列数据集,方便用户快速加载数据。
PyGrinder:用于模拟真实世界的缺失数据,可以在完整数据集上人为引入不同类型的缺失。
BenchPOTS:为公平评估各种POTS算法的性能而创建的基准测试套件。
BrewPOTS:提供PyPOTS的使用教程,帮助用户学习如何"冲泡"他们的POTS数据集。

这些组件共同构成了一个完整的POTS数据处理流程。

PyPOTS的安装与使用

PyPOTS可以通过pip或conda轻松安装:

# 通过pip安装
pip install pypots

# 通过conda安装
conda install -c conda-forge pypots

PyPOTS提供了简单直观的API。以下是一个使用SAITS算法进行时间序列缺失值填补的简单示例:

from pypots.imputation import SAITS
from pypots.utils.metrics import calc_mae

# 初始化模型
saits = SAITS(n_steps=48, n_features=37, n_layers=2, d_model=256)

# 训练模型
saits.fit(dataset)

# 进行缺失值填补
imputation = saits.impute(dataset)

# 计算填补误差
mae = calc_mae(imputation, ground_truth, mask)