用于时间序列和时空数据的大型(语言)模型和基础模型(LLM、LM、FM)

星标数

这是一个专业整理的**用于时间数据(时间序列、时空和事件数据)的大型(语言)模型和基础模型(LLM、LM、FM)**资源列表,包含了丰富的资源(论文、代码、数据等)。我们旨在尽我们所知,全面系统地总结最新进展。

我们将持续用最新资源更新这个列表。如果您发现任何遗漏的资源(论文/代码)或错误,欢迎提出问题或提交拉取请求。

关于人工智能在时间序列(AI4TS)方面在顶级人工智能会议和期刊上发表的论文、教程和综述,请查看这个仓库。

综述论文

作者: Ming Jin, Qingsong Wen*, Yuxuan Liang, Chaoli Zhang, Siqiao Xue, Xue Wang, James Zhang, Yi Wang, Haifeng Chen, Xiaoli Li (IEEE Fellow), Shirui Pan*, Vincent S. Tseng (IEEE Fellow), Yu Zheng (IEEE Fellow), Lei Chen (IEEE Fellow), Hui Xiong (IEEE Fellow)

🌟 如果您觉得这个资源有帮助,请考虑为这个仓库点星,并引用我们的综述论文:

@article{jin2023lm4ts,
  title={Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook}, 
  author={Ming Jin and Qingsong Wen and Yuxuan Liang and Chaoli Zhang and Siqiao Xue and Xue Wang and James Zhang and Yi Wang and Haifeng Chen and Xiaoli Li and Shirui Pan and Vincent S. Tseng and Yu Zheng and Lei Chen and Hui Xiong},
  journal={arXiv preprint arXiv:2310.10196},
  year={2023}
}

用于时间序列的大型语言模型

通用时间序列分析

观点论文:大型语言模型能告诉我们关于时间序列分析的什么,发表于 arXiv 2024, [论文]
Time-LLM:通过重新编程大型语言模型进行时间序列预测,发表于 ICLR 2024, [论文] [官方代码]
TEMPO:基于提示的生成式预训练Transformer用于时间序列预测,发表于 ICLR 2024, [论文]
TEST:文本原型对齐嵌入以激活大型语言模型处理时间序列的能力,发表于 ICLR 2024, [论文]
UniTime:一个语言赋能的跨域时间序列预测统一模型,发表于 WWW 2024, [论文]
LLM4TS:使用预训练大型语言模型进行时间序列预测的两阶段微调,发表于 arXiv 2023, [论文]
第一步是最困难的:为大型语言模型表示和标记时间数据的陷阱,发表于 arXiv 2023, [论文]
PromptCast:时间序列预测的新型基于提示学习范式,发表于 TKDE 2023. [论文]
一个适用所有:通过预训练语言模型实现通用时间序列分析,发表于 NeurIPS 2023, [论文] [官方代码]
大型语言模型是零样本时间序列预测器,发表于 NeurIPS 2023, [论文] [官方代码]

交通应用

我下一步去哪里？大型语言模型作为人类移动预测器，发表于 arXiv 2023，[论文]
利用语言基础模型进行人类移动预测，发表于 SIGSPATIAL 2022，[论文]

金融应用

时间数据遇上大语言模型 -- 可解释的金融时间序列预测，发表于 arXiv 2023，[论文]
BloombergGPT：金融领域的大型语言模型，发表于 arXiv 2023，[论文]
织布鸟：结合大型语言模型、知识库和搜索引擎赋能金融决策，发表于 arXiv 2023，[论文][官方代码]
ChatGPT能预测股价走势吗？收益预测性和大型语言模型，发表于 arXiv 2023，[论文]
Instruct-FinGPT：通过指令调优通用大型语言模型进行金融情感分析，发表于 arXiv 2023，[论文]
华尔街新手：ChatGPT在多模态股票走势预测挑战中的零样本分析，发表于 arXiv 2023，[论文]

医疗保健应用

大型语言模型是少样本健康学习器，发表于 arXiv 2023，[论文]
医疗系统规模的语言模型是全能预测引擎，发表于 Nature 2023，[论文]
电子健康记录的大型语言模型，发表于 NPJ Digit. Med. 2022，[论文]

事件分析

使用语言模型起草事件模式，发表于 arXiv 2023，[论文]
语言模型可以通过少样本溯因推理改进事件预测，发表于 NeurIPS 2023，[论文]，[官方代码]

用于时间序列的预训练基础模型

通用时间序列分析

SimMTM：用于掩蔽时间序列建模的简单预训练框架，发表于 NeurIPS 2023，[论文]
一个时间序列价值64个词：使用Transformer进行长期预测，发表于 ICLR 2023，[论文] [官方代码]
时间序列无监督域适应的对比学习，发表于 ICLR 2023，[论文]
TSMixer：用于多变量时间序列预测的轻量级MLP-Mixer模型，发表于 KDD 2023，[论文]
通过时频一致性进行时间序列的自监督对比预训练，发表于 NeurIPS 2022，[论文] [官方代码]
预训练增强的时空图神经网络用于多变量时间序列预测，发表于 KDD 2022，[论文]
TS2Vec：面向时间序列的通用表示，发表于 AAAI 2022，[论文] [官方代码]
Voice2Series：重新编程声学模型用于时间序列分类，发表于 ICML 2021，[论文] [官方代码]

事件分析

用于流式事件序列的提示增强时间点过程，发表于 NeurIPS 2023，[论文] [官方代码]

用于时空图的大型语言模型

语言知识辅助的骨架动作识别表示学习，发表于 arXiv 2023，[论文]
基于ChatGPT的图神经网络用于股票走势预测，发表于 arXiv 2023，[论文]

用于时空图的预训练基础模型

通用目的

对比学习信号何时有助于时空图预测？发表于 SIGSPATIAL 2023，[论文]
通过自步调图对比学习挖掘时空关系，发表于 KDD 2022，[论文]

气候

使用3D神经网络进行精确中程全球天气预报，发表于2023年《自然》。[论文]
ClimaX：天气和气候基础模型，发表于2023年ICML。[论文] [官方代码]
GraphCast：学习熟练的中程全球天气预报，发表于2022年arXiv。[论文]
FourCastNet：使用自适应傅里叶神经算子的全球高分辨率数据驱动天气模型，发表于2022年arXiv。[论文]
使用3D神经网络进行精确中程全球天气预报，发表于2023年《自然》。[论文]
W-MAE：用于多变量天气预报的带掩码自编码器预训练天气模型，发表于2023年arXiv。[论文]
风吴：将熟练的全球中程天气预报推进到10天以上，发表于2023年arXiv。[论文]

交通

用于规则区域人流预测的预训练双向时间表示，发表于2019年《IEEE Access》。[论文]
Trafficbert：用于长期交通流量预测的大规模数据预训练模型，发表于2021年《Expert Systems with Applications》。[论文]
通过生成式图转换器构建交通基础模型，发表于2023年arXiv。[论文]