OpenLTM

OpenLTM 是一个开源代码库，旨在提供一套用于开发和评估大型时间序列模型的流水线。

对于深度时间序列模型，我们推荐 Time-Series-Library 以及这篇全面的 综述。

您可以在 Large-Time-Series-Model 或 HuggingFace 中试用我们开箱即用的时间序列基础模型。

更新

:triangular_flag_on_post: 新闻 (2025.05) 我们发布了 260B 参数量的预训练模型 Timer 的 PyTorch 版本。该版本等同于 HuggingFace 模型，但在微调方面更加友好。此 notebook 展示了如何加载和使用该检查点。

:triangular_flag_on_post: 新闻 (2025.04) 非常感谢 frndtls 实现了 TTMs 及其他 LLM4TS 方法。

:triangular_flag_on_post: 新闻 (2024.12) 非常感谢 khairulislam 实现了 GPT4TS。

:triangular_flag_on_post: 新闻 (2024.10) 我们收录了几款大型时间序列模型，发布了预训练代码，并提供了相关脚本。

什么是 LTM？

LTM (Large Time-Series Model，又称时间序列基础模型，TSFM）是一种基于可扩展骨干网络（如 Transformer）并通过大规模预训练构建的深度时间序列模型，可用于处理多种时间序列数据（例如零样本预测）以及下游任务（例如时间序列的通用特征提取）。更多信息请参阅以下教程：[CN]，[EN]。

模型清单

• Timer-XL - Timer-XL：用于统一时间序列预测的长上下文 Transformer。[ICLR 2025]，[代码]
• Moirai - 通用时间序列预测 Transformer 的统一训练。[ICML 2024]，[代码]
• Timer - Timer：生成式预训练 Transformer 即为大型时间序列模型。[ICML 2024]，[代码]
• Moment - MOMENT：一系列开源时间序列基础模型。[ICML 2024]，[代码]
• TTMs - Tiny Time Mixers (TTMs)：用于增强多变量时间序列零/少样本预测的快速预训练模型。[Arxiv 2024]，[代码]
• GPT4TS - 一劳永逸：通过预训练语言模型实现强大的通用时间序列分析。[NeurIPS 2023]，[代码]
• Time-LLM：通过重编程大型语言模型进行时间序列预测。[ICLR 2024]，[代码]
• AutoTimes：利用大型语言模型进行自回归时间序列预测。[NeurIPS 2024]，[代码]
• Sundial：一系列功能强大的时间序列基础模型。[ICML 2025]，[代码]
• LLMTime：大型语言模型是零样本时间序列预测器。[NeurIPS 2023]，[代码]
• Chronos：学习时间序列的语言。[TMLR 2024]，[代码]
• Time-MoE：具有专家混合机制的百亿级规模时间序列基础模型。[ICLR 2025]，[代码]
• 仅解码器架构的时间序列预测基础模型。[ICML 2024]，[代码]

使用方法

1. 安装 Python 3.11。为方便起见，请执行以下命令。

pip install -r requirements.txt

2. 将下载的数据放入 ./dataset 文件夹中。此处提供一份 数据集概览。

• 对于单变量预训练（如果您使用的是预训练检查点，则可跳过此步骤）：

  • UTSD 包含 10 亿个时间点，用于大规模预训练（numpy 格式）：[下载]。
  • ERA5 系列（40 年跨度，数千种变量）适用于特定领域的模型：[下载]。

• 对于监督训练或模型适配

  • 来自 TSLib 的数据集：[下载]。

3. 从头开始训练，或使用我们位于 ./checkpoints 文件夹中的预训练检查点。

• 我们提供在 260B 时间点上预训练的 检查点：[下载]。

4. 我们在 ./scripts/ 文件夹下提供了一些监督训练、预训练和适配脚本：

# 监督训练
# (a) 一对一预测
bash ./scripts/supervised/forecast/moirai_ecl.sh
# (b) 一对多（滚动）预测
bash ./scripts/supervised/rolling_forecast/timer_xl_ecl.sh

# 大规模预训练
# (a) 在 UTSD 上预训练
bash ./scripts/pretrain/timer_xl_utsd.sh
# (b) 在 ERA5 上预训练
bash ./scripts/pretrain/timer_xl_era5.sh

# 模型适配
# (a) 全样本微调
bash ./scripts/adaptation/full_shot/timer_xl_etth1.sh
# (b) 少样本微调
bash ./scripts/adaptation/few_shot/timer_xl_etth1.sh

5. 开发您的大型时间序列模型。

• 将模型文件添加到 ./models 文件夹中。您可以参考 ./models/timer_xl.py。
• 将新添加的模型纳入 ./exp/exp_basic.py 中的 Exp_Basic.model_dict。
• 在 ./scripts 文件夹下创建相应的脚本。

推荐资源

在此我们列出一些时间序列大模型的资源，它们支持开箱即用（例如零样本预测）：

• Sundial：https://huggingface.co/thuml/sundial-base-128m
• Timer：https://huggingface.co/thuml/timer-base-84m
• Chronos：https://huggingface.co/amazon/chronos-t5-base
• Moirai：https://huggingface.co/Salesforce/moirai-1.0-R-base
• TimesFM：https://huggingface.co/google/timesfm-1.0-200m
• Time-MoE：https://huggingface.co/Maple728/TimeMoE-50M
• TTMs：https://huggingface.co/ibm-research/ttm-research-r2

[!NOTE] 与其它模态的基础模型相比，时间序列大模型目前规模仍然较小。例如，推理时使用 CPU 即可，适配阶段可以使用 RTX 4090 显卡，而预训练则建议使用 A100 显卡。

引用

如果您觉得本仓库对您有帮助，请引用我们的论文。

@inproceedings{liutimer,
  title={Timer: Generative Pre-trained Transformers Are Large Time Series Models},
  author={Liu, Yong and Zhang, Haoran and Li, Chenyu and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  booktitle={Forty-first International Conference on Machine Learning}
}

@article{liu2024timer,
  title={Timer-XL: Long-Context Transformers for Unified Time Series Forecasting},
  author={Liu, Yong and Qin, Guo and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2410.04803},
  year={2024}
}

@article{liu2025sundial,
  title={Sundial: A Family of Highly Capable Time Series Foundation Models},
  author={Liu, Yong and Qin, Guo and Shi, Zhiyuan and Chen, Zhi and Yang, Caiyin and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2502.00816},
  year={2025}
}

致谢

我们非常感谢以下 GitHub 仓库提供的宝贵代码和努力：

• Time-Series-Library（https://github.com/thuml/Time-Series-Library）
• Large-Time-Series-Model（https://github.com/thuml/Large-Time-Series-Model）
• AutoTimes（https://github.com/thuml/AutoTimes）

贡献者

如果您有任何问题或希望使用这些代码，请随时联系：

• 刘勇（liuyong21@mails.tsinghua.edu.cn）
• 秦果（qinguo24@mails.tsinghua.edu.cn）
• 刘海轩（liuhaixu21@mails.tsinghua.edu.cn）

OpenLTM 快速上手指南

OpenLTM 是一个开源代码库，旨在提供开发和评估大型时间序列模型（Large Time-Series Models, LTM）的完整流水线。它支持从零开始预训练、监督训练以及模型微调适配。

环境准备

• 系统要求：Linux / macOS / Windows
• Python 版本：推荐 Python 3.11
• 硬件建议：
  • 推理：CPU 即可运行部分轻量模型。
  • 微调/适配：推荐 NVIDIA RTX 4090 或同等算力显卡。
  • 大规模预训练：推荐 NVIDIA A100 或多卡集群。

安装步骤

1. 克隆仓库（如未下载）：

   git clone https://github.com/thuml/OpenLTM.git
   cd OpenLTM
   

2. 安装依赖： 项目依赖可通过 requirements.txt 一键安装。国内用户建议使用清华源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 数据准备

将下载的数据集放入 ./dataset 目录。

• 大规模预训练数据：推荐 UTSD (10 亿时间点) 或 ERA5-Family。
  • UTSD 国内下载地址：清华大学云盘
• 监督训练/微调数据：可使用 TSLib 中的标准数据集。
  • 下载地址：清华大学云盘

2. 加载预训练模型

您可以直接使用官方提供的预训练权重（例如在 2600 亿时间点上预训练的 Timer-XL），无需从头训练。

• 权重下载：Timer-XL Checkpoint (PyTorch)
• 将下载的 .pth 文件放入 ./checkpoints 目录。
• 参考 load_pth_ckpt.ipynb 笔记本学习如何加载和使用权重。

3. 运行示例脚本

项目提供了现成的脚本用于监督训练、预训练和模型适配。以下是最常用的监督训练和微调示例：

场景 A：监督训练 (一对一预测)

bash ./scripts/supervised/forecast/moirai_ecl.sh

场景 B：监督训练 (滚动预测/全能模式)

bash ./scripts/supervised/rolling_forecast/timer_xl_ecl.sh

场景 C：模型微调 (全量数据 Fine-tune)

bash ./scripts/adaptation/full_shot/timer_xl_etth1.sh

场景 D：模型微调 (少样本 Few-shot Fine-tune)

bash ./scripts/adaptation/few_shot/timer_xl_etth1.sh

4. 开发自定义模型

若要集成新的时间序列模型：

1. 在 ./models 目录下添加模型文件（参考 timer_xl.py）。
2. 在 ./exp/exp_basic.py 的 Exp_Basic.model_dict 中注册新模型。
3. 在 ./scripts 目录下创建对应的运行脚本。

提示：更多开箱即用的基础模型（如 Sundial, Chronos, Moirai 等）可直接在 HuggingFace 获取并配合本框架使用。