时间序列中的Transformer模型
这是一个专业整理的关于时间序列中的Transformer的优秀资源(论文、代码、数据等)列表,据我们所知,这是首个全面系统地总结Transformer在时间序列数据建模方面的最新进展的工作。
我们将继续用最新资源更新此列表。如果您发现任何遗漏的资源(论文/代码)或错误,请随时提出问题或提交拉取请求。
有关**人工智能在时间序列(AI4TS)**方面的论文、教程和综述,请查看此仓库。
有关人工智能最新进展:各领域(深度学习、机器学习、数据挖掘、计算机视觉、自然语言处理、语音等)的教程和综述,请查看此仓库。
综述论文
时间序列中的Transformer:一项综述 (IJCAI'23 综述专题)
如果您发现此仓库对您的工作有帮助,请引用我们的综述论文。
@inproceedings{wen2023transformers,
title={Transformers in time series: A survey},
author={Wen, Qingsong and Zhou, Tian and Zhang, Chaoli and Chen, Weiqi and Ma, Ziqing and Yan, Junchi and Sun, Liang},
booktitle={International Joint Conference on Artificial Intelligence(IJCAI)},
year={2023}
}
时间序列建模中Transformer的分类
时间序列Transformer的应用领域
预测领域的Transformer模型
时间序列预测
- CARD:用于时间序列预测的通道对齐稳健混合Transformer,发表于ICLR 2024。[论文][官方代码]
- Pathformer:具有自适应路径的多尺度Transformer用于时间序列预测,发表于ICLR 2024。[论文][官方代码]
- GAFormer:通过群感知嵌入增强时间序列Transformer,发表于ICLR 2024。[论文]
- Transformer调制扩散模型用于概率多变量时间序列预测,发表于ICLR 2024。[论文]
- iTransformer:倒置Transformer在时间序列预测中的有效性,发表于ICLR 2024。[论文]
- 考虑多变量时间序列中的非平稳性,使用变分层次Transformer进行预测,发表于AAAI 2024。[论文]
- 用于概率时间序列预测的潜在扩散Transformer,发表于AAAI 2024。[论文]
- BasisFormer:具有可学习和可解释基础的基于注意力的时间序列预测,发表于NeurIPS 2023。[论文]
- ContiFormer:用于不规则时间序列建模的连续时间Transformer,发表于NeurIPS 2023。[论文]
- 一个时间序列值64个词:使用Transformer进行长期预测,发表于ICLR 2023。[论文][代码]
- Crossformer:利用跨维度依赖关系的Transformer用于多变量时间序列预测,发表于ICLR 2023。[论文]
- Scaleformer:用于时间序列预测的迭代多尺度优化Transformer,发表于ICLR 2023。[论文]
- 非平稳Transformer:重新思考时间序列预测中的平稳性,发表于NeurIPS 2022。[论文]
- 学习旋转:用于复杂周期性时间序列预测的四元数Transformer,发表于KDD 2022。[论文]
- FEDformer:用于长期序列预测的频率增强分解Transformer,发表于ICML 2022。[论文][官方代码]
- TACTiS:用于时间序列的Transformer注意力Copulas,发表于ICML 2022。[论文]
- Pyraformer:用于长程时间序列建模和预测的低复杂度金字塔注意力,发表于ICLR 2022。[论文][官方代码]
- Autoformer:用于长期序列预测的具有自相关的分解transformers,发表于NeurIPS 2021。[论文][官方代码]
- Informer:超越高效transformer的长序列时间序列预测,发表于AAAI 2021。[论文][官方代码][数据集]
- 用于可解释多层次时间序列预测的时间融合transformers,发表于International Journal of Forecasting 2021。[论文][代码]
- 用于时间序列分析的概率Transformer,发表于NeurIPS 2021。[论文]
- 用于时间序列预测的深度Transformer模型:流感流行率案例,发表于arXiv 2020。[论文]
- 用于时间序列预测的对抗性稀疏transformer,发表于NeurIPS 2020。[论文][代码]
- 增强局部性和打破transformer在时间序列预测中的内存瓶颈,发表于NeurIPS 2019。[论文][代码]
- SSDNet:用于时间序列预测的状态空间分解神经网络,发表于ICDM 2021。[论文]
- 从已知到未知:阿里巴巴基于知识引导的Transformer用于时间序列销售预测,发表于arXiv 2021。[论文]
- TCCT:用于时间序列预测的紧耦合卷积transformer,发表于Neurocomputing 2022。[论文]
- Triformer:用于长序列多变量时间序列预测的三角形、变量特定注意力,发表于IJCAI 2022。[论文]
时空预测
- AirFormer: 用Transformer预测中国全国空气质量,发表于 AAAI 2023。[论文] [官方代码]
- Earthformer: 探索用于地球系统预测的时空Transformer,发表于 NeurIPS 2022。[论文] [官方代码]
- 用于城市交通流量预测的双向时空自适应Transformer,发表于 TNNLS 2022。[论文]
- 用于行人轨迹预测的时空图Transformer网络,发表于 ECCV 2020。[论文] [官方代码]
- 用于交通流量预测的时空Transformer网络,发表于 arXiv 2020。[论文] [官方代码]
- 交通Transformer:捕捉时间序列的连续性和周期性以进行交通预测,发表于 Transactions in GIS 2022。[论文]
事件不规则时间序列建模
- 将时间序列视为图像:用于不规则采样时间序列的视觉Transformer,发表于 NeurIPS 2023。[论文]
- ContiFormer:用于不规则时间序列建模的连续时间Transformer,发表于 NeurIPS 2023。[论文]
- HYPRO:用于事件序列长期预测的混合归一化概率模型,发表于 NeurIPS 2022。[论文] [官方代码]
- 不规则间隔事件及其参与者的Transformer嵌入,发表于 ICLR 2022。[论文] [官方代码]
- 自注意力Hawkes过程,发表于 ICML 2020。[论文] [官方代码]
- Transformer Hawkes过程,发表于 ICML 2020。[论文] [官方代码]
Transformer在异常检测中的应用
- MEMTO:用于多变量时间序列异常检测的记忆引导Transformer,发表于 NeurIPS 2023。[论文]
- CAT:超越高效Transformer的事件序列内容感知异常检测,发表于 KDD 2022。[论文] [官方代码]
- DCT-GAN:用于时间序列异常检测的扩张卷积Transformer-GAN,发表于 TKDE 2022。[论文]
- 基于Transformer的时间序列异常检测概念漂移适应,发表于 Neural Processing Letters 2022。[论文]
- 异常Transformer:基于关联差异的时间序列异常检测,发表于 ICLR 2022。[论文] [官方代码]
- TranAD:用于多变量时间序列数据异常检测的深度Transformer网络,发表于 VLDB 2022。[论文] [官方代码]
- 在物联网中学习多变量时间序列异常检测的图结构与Transformer,发表于 IEEE Internet of Things Journal 2021。[论文] [官方代码]
- 基于Transformer重构误差的航天器异常检测,发表于 ICASSE 2019。[论文]
- 基于Transformer变分自编码器的多变量时间序列无监督异常检测,发表于 CCDC 2021。[论文]
- 基于变分Transformer的多变量时间序列异常检测方法,发表于 Measurement 2022。[论文]
Transformer在分类中的应用
- 将时间序列视为图像:用于不规则采样时间序列的视觉Transformer,发表于 NeurIPS 2023。[论文]
- TrajFormer:使用Transformer进行高效轨迹分类,发表于 CIKM 2022。[论文]
- TARNet:面向任务的时间序列Transformer重构,发表于 KDD 2022。[论文] [官方代码]
- 基于Transformer的多变量时间序列表示学习框架,发表于 KDD 2021。[论文] [官方代码]
- Voice2series:重新编程声学模型用于时间序列分类,发表于 ICML 2021。[论文] [官方代码]
- 用于多变量时间序列分类的门控Transformer网络,发表于 arXiv 2021。[论文] [官方代码]
- 用于原始光学卫星时间序列分类的自注意力,发表于 ISPRS Journal of Photogrammetry and Remote Sensing 2020。[论文] [官方代码]
- 用于卫星图像时间序列分类的Transformer自监督预训练,发表于 IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2020。[论文]
- 用于稀疏和不规则采样的多变量临床时间序列的自监督Transformer,发表于 ACM TKDD 2022。[论文] [官方代码]
时间序列相关调查
- 大型语言模型能告诉我们关于时间序列分析的什么,发表于2024年《arXiv》。[论文]
- 时间序列和时空数据的大型模型:调查与展望,发表于2023年《arXiv》。[论文] [网站]
- 多变量时间序列插补的深度学习:一项调查,发表于2024年《arXiv》。[论文] [网站]
- 时间序列分析的自监督学习:分类、进展和展望,发表于2023年《arXiv》。[论文] [网站]
- 时间序列图神经网络调查:预测、分类、插补和异常检测,发表于2023年《arXiv》。[论文] [网站]
- 深度学习的时间序列数据增强:一项调查,发表于2021年《IJCAI》。[论文]
- 神经时间点过程:一个回顾,发表于2021年《IJCAI》。[论文]
- 深度学习的时间序列预测:一项调查,发表于2021年《皇家学会哲学汇刊A辑》。[论文]
- 时间序列预测的深度学习:一项调查,发表于2021年《大数据》。[论文]
- 神经预测:介绍和文献综述,发表于2020年《arXiv》。[论文]
- 时间序列数据中异常检测的深度学习:回顾、分析和指南,发表于2021年《Access》。[论文]
- 时间序列数据中的离群值/异常检测回顾,发表于2021年《ACM计算调查》。[论文]
- 深度和浅层异常检测的统一回顾,发表于2021年《IEEE论文集》。[论文]
- 时间序列分类的深度学习:一个回顾,发表于2019年《数据挖掘与知识发现》。[论文]
- 更多相关的时间序列调查、教程和论文可以在这个仓库中找到。
其他学科的Transformer/注意力机制教程/调查
- 关于Transformer你需要知道的一切:架构、优化、应用和解释,发表于2023年《AAAI教程》。[链接]
- 多模态信号处理和决策的Transformer架构,发表于2022年《ICASSP教程》。[链接]
- 高效Transformer:一项调查,发表于2022年《ACM计算调查》。[论文] [论文]
- 视觉Transformer调查,发表于2022年《IEEE TPAMI》。[论文]
- 深度学习中注意力机制的一般调查,发表于2022年《IEEE TKDE》。[论文]
- 请注意!深度学习中神经注意力模型调查,发表于2022年《人工智能评论》。[论文]
- 计算机视觉中的注意力机制:一项调查,发表于2022年《计算视觉媒体》。[论文]
- 调查:基于Transformer的视频-语言预训练,发表于2022年《AI Open》。[论文]
- 视觉中的Transformer:一项调查,发表于2021年《ACM计算调查》。[论文]
- 预训练模型:过去、现在和未来,发表于2021年《AI Open》。[论文]
- 注意力模型的细致调查,发表于2021年《ACM TIST》。[论文]
- 自然语言处理中的注意力,发表于2020年《IEEE TNNLS》。[论文]
- 自然语言处理的预训练模型:一项调查,发表于2020年《中国科学:技术科学》。[论文]
- 深度学习注意力机制的回顾,发表于2021年《神经计算》。[论文]
- Transformer调查,发表于2021年《arXiv》。[论文]
- 视觉-语言预训练模型调查,发表于2022年《arXiv》。[论文]
- 视频Transformer:一项调查,发表于2022年《arXiv》。[论文]
- 图的Transformer:从架构角度的概述,发表于2022年《arXiv》。[论文]
- 医学影像中的Transformer:一项调查,发表于2022年《arXiv》。[论文]
- 使用基于Transformer的预训练语言模型进行可控文本生成的调查,发表于2022年《arXiv》。[论文]