Github
Huggingface
文档
论文项目简介
Chronos-T5-Mini是一个基于语言模型架构的预训练时间序列预测模型。它是Chronos系列模型家族中的一员,具有2千万参数量,模型结构基于T5-efficient-mini。该模型能够对时间序列数据进行高质量的概率预测。
工作原理
Chronos-T5-Mini通过创新的方式处理时间序列预测问题:
- 首先将时间序列数据通过缩放和量化转换为一系列标记(tokens)
- 然后使用这些标记训练语言模型,采用交叉熵损失函数
- 在预测阶段,模型可以基于历史数据自回归地采样生成多个可能的未来轨迹
- 通过采样多条轨迹,最终得到概率分布形式的预测结果
模型特点
- 采用编码器-解码器架构,基于T5模型改进而来
- 词汇表大小为4096,相比原始T5的32128个token大幅精简
- 支持GPU加速推理,可使用bfloat16等混合精度计算
- 训练数据来自公开的时间序列数据集和高斯过程生成的合成数据
- 能够生成概率预测,提供预测区间而不是单点预测
使用方法
使用该模型非常简单直观:
- 通过pip安装配套的chronos-forecasting包
- 使用ChronosPipeline加载预训练模型
- 输入历史时间序列数据和所需预测长度
- 模型将返回多个采样轨迹,可用于计算中位数预测和预测区间
应用场景
该模型适用于各类时间序列预测任务:
- 销售预测
- 流量预测
- 能源消耗预测
- 传感器数据预测
- 金融市场预测
技术优势
- 较小的模型体积(20M参数)保证了推理速度
- 概率预测方式提供了不确定性量化
- 支持批量预测多条时间序列
- 预训练模型可直接使用,也支持微调
