本项目收集了用于时间序列（TS）的大型语言模型（LLMs）和基础模型（FMs）的论文和代码。希望这个项目能帮助您了解用于时间序列的大型语言模型和基础模型。

🦙 用于时间序列的大型语言模型

在BERT、GPT和其他LLMs在自然语言处理领域取得成功后，一些研究人员提出将LLMs应用于时间序列任务。他们在时间序列数据集上微调LLMs，并取得了最先进的结果。

• PromptCast：时间序列预测的新型提示学习范式，发表于arXiv 2022。[论文]

• 一个适用于所有：通过预训练语言模型实现通用时间序列分析，发表于arXiv 2023。[论文]

• 时间数据遇上LLM -- 可解释的金融时间序列预测，发表于arXiv 2023。[论文]

• TEST：文本原型对齐嵌入激活LLM的时间序列能力。[论文]

• LLM4TS：使用预训练LLMs进行时间序列预测的两阶段微调。[论文]

• 第一步最难：为大型语言模型表示和标记时间数据的陷阱。[论文]

• 大型语言模型是零样本时间序列预测器。[论文]

• TEMPO：基于提示的生成式预训练Transformer用于时间序列预测。[论文]

• Time-LLM：通过重新编程大型语言模型进行时间序列预测。[论文]

• S2IP-LLM：语义空间信息提示学习与LLM用于时间序列预测。[论文]

• 使用LLMs进行时间序列预测：理解和增强模型能力。[论文]

📍 综述

• 时间序列和时空数据的大型模型：综述与展望。[综述]

• 立场文章：大型语言模型能告诉我们关于时间序列分析的什么。[综述]

• 时间序列分析的基础模型：教程与综述。[综述]

• 语言模型对时间序列预测真的有用吗？[综述]

📍 相关研究

• 大型语言模型是少样本健康学习器，发表于arXiv 2023。[论文]

• 冻结语言模型助力心电图零样本学习，发表于arXiv 2023。[论文]

🧱 用于时间序列的基础模型

最近，一些用于时间序列的基础模型（FMs）被提出。这些FMs旨在从大型数据集中学习时间序列的表示，然后将表示迁移到下游任务中。与时间序列LLMs相比，这些方法不依赖于预训练的LLMs。

📍 数据

• LOTSA [论文] [GitHub]

• Timeseries-PILE [论文] [GitHub]

• 走向时间序列基础模型：合成还是不合成？[论文]

📍 模型

• 微型时间混合器（TTMs）：用于增强多元时间序列零/少样本预测的快速预训练模型。[论文]

• 用于时间序列预测的仅解码器基础模型。[论文]

• TimeGPT-1。[论文]

• Lag-Llama：走向时间序列预测的基础模型。[论文]

• 通用时间序列预测Transformer的统一训练。[论文]

• MOMENT：开放时间序列基础模型系列。[论文]

• Chronos：学习时间序列的语言。[论文] [GitHub]

• ForecastPFN：通过合成训练实现零样本预测。[论文] [GitHub]

📍 研究发现

• 时间序列预测的缩放定律。[论文]

• 只有曲线形状才重要：通过下一个曲线形状预测训练基础模型实现零样本多变量时间序列预测。[论文]

📍 综述

• 时间序列分析基础模型：教程与综述。[综述]

🔗 相关领域

以下列出了一些相关领域。这些领域不是本项目的主要关注点，但对于理解大语言模型如何应用于自然语言处理以外的领域以及特定领域基础模型的发展也很重要。

📍 预训练时间序列

• 时间序列预训练模型综述，发表于 arXiv 2023。[论文]

• 时间序列预测的迁移学习。[GitHub]

• TST：基于transformer的多变量时间序列表示学习框架。[论文]

• Ti-mae：自监督掩码时间序列自编码器。[论文]

• SimMTM：一个简单的掩码时间序列建模预训练框架。[论文]

• Cost：用于时间序列预测的解耦季节性-趋势表示的对比学习。[论文]

• TS2Vec：迈向时间序列的通用表示。[论文]

📍 推荐系统中的大语言模型

• 将推荐视为语言处理（RLP）：统一的预训练、个性化提示和预测范式（P5），发表于 arXiv 2022。[论文]
• LLM4Rec。[GitHub]

📍 表格数据的大语言模型/基础模型

• AnyPredict：表格预测的基础模型，发表于 arXiv 2023。[论文]
• XTab：表格Transformer的跨表预训练，发表于 ICML 2023。[论文]

📍 生产环境中的大语言模型（LLMOps）

• Awesome-LLMOps。[GitHub]