Project Icon

Autoformer

具有自相关性的分解变压器,用于长期序列预测

Autoformer是一种长时间序列预测的通用模型,采用分解变压器和自动相关机制,实现38%的预测精度提升,覆盖能源、交通、经济、天气和疾病等应用领域。最近,该模型已被纳入Hugging Face和Time-Series-Library,并在2022年冬奥会中用于天气预报。Autoformer不同于传统Transformer,不需位置嵌入,具备内在的对数线性复杂度,易于实现和复现。

Autoformer(NeurIPS 2021)

Autoformer: 具有自动相关的分解变压器用于长期时间序列预测

时间序列预测是现实应用中的一个关键需求。受到经典时间序列分析和随机过程理论的启发,我们提出了Autoformer作为一个通用的时间序列预测模型【论文】Autoformer超越了Transformer家族,并首次实现了序列级的连接。

在长期预测中,Autoformer在六个基准测试上实现了SOTA,相对改进38%,涵盖了能源、交通、经济、天气和疾病五个实际应用。

:triangular_flag_on_post:新闻(2023.08)Autoformer已被收录至Hugging Face。参见博客

:triangular_flag_on_post:新闻(2023.06)Autoformer的扩展版本【适用于全球站点的统一深度模型的可解释天气预报】已在《自然机器智能》上作为封面文章发表。

:triangular_flag_on_post:新闻(2023.02)Autoformer已被收录至我们【时间序列库】,涵盖了长期和短期预测、插值、异常检测和分类。

:triangular_flag_on_post:新闻(2022.02-2022.03)Autoformer已在2022年冬季奥运会中部署,用于为竞赛场地提供天气预报,包括风速和温度。

Autoformer vs. Transformers

1. 深层分解架构

我们将Transformer革新为一种深层分解架构,可以在预测过程中逐步分解趋势和季节成分。



图1. Autoformer的整体架构。

2. 序列级自动相关机制

受随机过程理论的启发,我们设计了自动相关机制,可以发现基于周期的依赖关系并在序列级聚合信息。这使得模型具有内在的对数线性复杂性。与之前的自注意家族相比,这种序列级的连接显然不同。



图2. 自动相关机制。

开始

  1. 安装Python 3.6, PyTorch 1.9.0。
  2. 下载数据。你可以从Google Drive获取所有六个基准测试。所有数据集都已进行了预处理,可以轻松使用。
  3. 训练模型。我们在文件夹./scripts中提供了所有基准测试的实验脚本。你可以通过以下命令复现实验结果:
bash ./scripts/ETT_script/Autoformer_ETTm1.sh
bash ./scripts/ECL_script/Autoformer.sh
bash ./scripts/Exchange_script/Autoformer.sh
bash ./scripts/Traffic_script/Autoformer.sh
bash ./scripts/Weather_script/Autoformer.sh
bash ./scripts/ILI_script/Autoformer.sh
  1. 特别设计的实现
  • **加速自动相关:**我们将自动相关机制建立为批量归一化风格的块,使其更具内存访问友好性。详细信息请参见论文

  • **没有位置嵌入:**由于序列级连接将固有地保持顺序信息,Autoformer不需要位置嵌入,这一点不同于Transformers。

使用Docker复现

为了方便使用Docker、conda和Make复现结果,你可以按照以下步骤:

  1. 使用命令make init初始化Docker镜像。
  2. 使用命令make get_dataset下载数据集。
  3. 使用make run_module module="bash scripts/ETT_script/Autoformer_ETTm1.sh"运行每个脚本。
  4. 或者,一次运行所有脚本:
for file in `ls scripts`; do make run_module module="bash scripts/$script"; done

一个简单的示例

请参见predict.ipynb获取工作流程(中文)。

主要结果

我们在六个基准测试上进行了实验,涵盖了五个主流应用。我们将我们的模型与包括Informer、N-BEATS在内的十个基线模型进行了比较。一般来说,对于长期预测设置,Autoformer相对于之前的基线改进了38%,实现了SOTA。

基线

我们将继续添加时间序列预测模型,以扩展此仓库:

  • Autoformer
  • Informer
  • Transformer
  • Reformer
  • LogTrans
  • N-BEATS

引用

如果你觉得这个仓库有用,请引用我们的论文。

@inproceedings{wu2021autoformer,
  title={Autoformer: Decomposition Transformers with {Auto-Correlation} for Long-Term Series Forecasting},
  author={Haixu Wu and Jiehui Xu and Jianmin Wang and Mingsheng Long},
  booktitle={Advances in Neural Information Processing Systems},
  year={2021}
}

联系方式

如果你有任何问题或想使用代码,请联系wuhx23@mails.tsinghua.edu.cn

致谢

我们非常感谢以下GitHub仓库提供的宝贵代码库或数据集:

https://github.com/zhouhaoyi/Informer2020

https://github.com/zhouhaoyi/ETDataset

https://github.com/laiguokun/multivariate-time-series-data

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号