TimesFM: Google的时间序列基础模型革新时间序列预测

timesfm

TimesFM简介

TimesFM (Time Series Foundation Model)是Google Research团队开发的一个预训练时间序列基础模型,专门用于时间序列预测任务。作为一个开创性的项目,TimesFM致力于解决传统时间序列预测方法面临的挑战,为各行各业提供更精准、更可靠的预测能力。

TimesFM模型架构

TimesFM的核心特性

预训练基础模型: TimesFM在包含1000亿个真实世界时间点的大规模时间序列语料库上进行预训练,形成了对时间序列数据的深度理解。
解码器架构: 采用纯解码器架构,有效处理时间序列的顺序性和长期依赖关系。
零样本学习能力: 展现出卓越的零样本性能,能够在不同领域和粒度的公共基准测试中表现出色。
灵活的输入处理: 支持处理不同长度和频率的时间序列输入,适应各种实际应用场景。
开源可用: TimesFM的代码和模型检查点已在GitHub和Hugging Face上公开,方便研究者和开发者使用和改进。

TimesFM的技术细节

模型架构

TimesFM采用了纯解码器架构,这是一个重要的设计决策。与编码器-解码器架构相比,纯解码器架构在处理时间序列数据时具有以下优势:

更高的计算效率: 减少了编码过程,直接从输入序列生成预测,提高了模型的推理速度。
更好的长期依赖建模: 解码器中的自注意力机制可以更有效地捕捉长距离的时间依赖关系。
更自然的单向预测: 符合时间序列预测的本质,即基于过去信息预测未来。

预训练过程

TimesFM的预训练过程是其成功的关键。模型在包含各种领域和粒度的大规模时间序列数据集上进行训练,这使得它能够学习到广泛的时间模式和趋势。预训练过程包括:

数据多样性: 使用来自不同行业(如金融、气象、能源等)的时间序列数据。
多尺度学习: 同时处理不同时间粒度的数据,从秒级到年级不等。
自监督学习: 采用类似于语言模型的自监督学习方法,预测序列中的下一个时间点。
大规模计算: 利用Google的强大计算资源,在大规模数据集上进行长时间训练。

TimesFM的应用场景

TimesFM的versatility使其能够应用于多种时间序列预测任务:

经济和金融预测:
- 股票市场趋势分析
- 经济指标预测
- 销售额和收入预测
气象和环境监测:
- 天气预报
- 气候变化趋势分析
- 空气质量预测
能源需求预测:
- 电力负荷预测
- 可再生能源产出预测
- 能源消耗模式分析
交通流量预测:
- 道路拥堵预测
- 公共交通客流量预测
- 物流需求预测
医疗健康监测:
- 疾病传播趋势预测
- 患者生命体征监测
- 医疗资源需求预测

TimesFM应用场景

TimesFM的使用方法

安装

TimesFM提供了简便的安装方式:

pip install timesfm

对于需要GPU支持的用户,可以使用Conda创建环境:

conda env create --file=environment.yml
conda activate tfm_env
pip install -e .

模型初始化和加载

使用TimesFM进行预测的第一步是初始化模型并加载预训练的检查点:

import timesfm

tfm = timesfm.TimesFm(
    context_len=512,
    horizon_len=30,
    input_patch_len=32,
    output_patch_len=128,
    num_layers=20,
    model_dims=1280,
    backend="gpu",
)
tfm.load_from_checkpoint(repo_id="google/timesfm-1.0-200m")

执行预测

TimesFM支持两种主要的预测方式:

使用数组输入:

import numpy as np

forecast_input = [
    np.sin(np.linspace(0, 20, 100)),
    np.sin(np.linspace(0, 20, 200)),
    np.sin(np.linspace(0, 20, 400)),
]
frequency_input = [0, 1, 2]

point_forecast, experimental_quantile_forecast = tfm.forecast(
    forecast_input,
    freq=frequency_input,
)

使用Pandas DataFrame:

import pandas as pd

forecast_df = tfm.forecast_on_df(
    inputs=input_df,
    freq="M",  # monthly
    value_name="y",
    num_jobs=-1,
)

TimesFM的高级功能

协变量支持

TimesFM引入了协变量支持,允许模型考虑额外的相关因素来提高预测精度。这包括静态协变量和动态协变量:

静态协变量: 对整个时间序列保持不变的特征,如产品类别或基准价格。
动态协变量: 随时间变化的特征,如星期几或促销活动。

使用协变量的示例:

# 静态协变量
static_covariates = {
    "Category": ["food", "skin product"],
    "Base_price": [1.99, 29.99]
}

# 动态协变量
dynamic_covariates = {
    "Weekday": [[0, 1, 2, 3, 4, 5, 6, 0, 1, 2, 3, 4, 5, 6],
                [0, 1, 2, 3, 4, 5, 6, 0, 1, 2, 3, 4, 5, 6]],
    "Has_promotion": [[1, 1, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0],
                      [0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1]],
    "Daily_temperature": [[31.0, 24.3, 19.4, 26.2, 24.6, 30.0, 31.1, 32.4, 30.9, 26.0, 25.0, 27.8, 29.5, 31.2],
                          [31.0, 24.3, 19.4, 26.2, 24.6, 30.0, 31.1, 32.4, 30.9, 26.0, 25.0, 27.8, 29.5, 31.2]]
}

forecast_with_covariates = tfm.forecast(
    forecast_input,
    freq=frequency_input,
    static_covariates=static_covariates,
    dynamic_covariates=dynamic_covariates
)

模型微调

TimesFM支持在特定数据集上进行微调,以适应特定领域或任务的需求。微调过程可以显著提高模型在特定应用场景中的性能。

微调示例:

from timesfm import finetuning

# 准备微调数据
train_data = ...
val_data = ...

# 配置微调参数
finetuning_config = finetuning.FinetuningConfig(
    learning_rate=1e-5,
    num_epochs=10,
    batch_size=32
)

# 执行微调
finetuned_model = finetuning.finetune(
    model=tfm,
    train_data=train_data,
    val_data=val_data,
    config=finetuning_config
)

# 使用微调后的模型进行预测
finetuned_forecast = finetuned_model.forecast(new_data)